Парсинг данных с сайта на сервер
Парсер должен быть отремонтирован на сервере.
После перезапуска сервера Парсер перестал собирать данные.
Что с ним случилось, я не знаю, поэтому на вопрос: что ремонтировать? я не отвечу + нужно настроить Экстрактор данных из сервера.
Он был написан под немного другой код, но его можно адаптировать под этот парсер.
Сведения о Парсере:
- Он написан на javascript.
- База данных mongodb
- Сервер Екклесиаст получает данные с сайта донора -> Сервер главный получает данные от сборщика и хранит их в бд -> Экстрактор, который написано на библиотеке electronjs экспортирует данные в формате csv на мой пл - ОС серверов - Ubuntu без GUI, одна из последних версий.
Пишу об этом, потому что для некоторых программеров важно, чтобы был GUI =)
- Сервер расположен на хостинге timeweb, так что может быть необходимо использовать известку для коннекта, зависит от вашего провайдера, потому что некоторые блокируют коннект.
Следующая информация для работы:
- Архив с кодом на сервере
- Руководство от парня, который писал код (Возможно поможет разобраться с тем, как работает парсер)
- Доступ к серверам, следующему формату: Имя сервера: Main Server
IP- адрес сервера: 185.104.XXX.XXX
Имя юзера: root
Пасс: хухухухухухухухухухухухухухухух
Доступ возможен через ссх, или консоль сайта - архив с кодом Экстрактора
С уважением, Е
Додаю більше інфи про код парсеру.
Ось інфа з файлу package.json
{
"name": "task_planner",
"version": "1.0.0",
"description": "",
"main": "index.js",
"scripts": {
"build": "tsc",
"test": "echo \"Error: no test specified\" && exit 1"
},
"author": "",
"license": "ISC",
"dependencies": {
"amqplib": "^0.8.0",
"dotenv": "^10.0.0",
"mongodb": "^4.1.0",
"mongoose": "^5.13.5",
"redis": "^3.1.2",
"winston": "^3.3.3"
},
"devDependencies": {
"@types/amqplib": "^0.8.1",
"@types/dotenv": "^8.2.0",
"@types/mongodb": "^4.0.7",
"@types/node": "^16.4.11",
"@types/redis": "^2.8.31",
"@types/winston": "^2.4.4",
"typescript": "^4.3.5"
}
}
-
2 дня2000 UAH
211 10 3 1 2 дня2000 UAH
Добрый день, заинтересовал Ваш проект, слишком много вопросов, можем созвонится и обсудить. С убунту проблем нет, с монгой тоже), екстрактор нужно посмотреть/обсудить. Цена и сроки пока условны, буду рад сотрудничеству. Спасибо!
p.s. : У меня давно не было активности на этом сервисе, пусть Вас это не смущает, за прошедшее время мои навыки значительно выросли
-
7 дней2000 UAH
953 11 0 7 дней2000 UAH
Имею много опыта в работе с JS, парсингом сайтов, сохранением в mongoose.
В package заметил компилятор typescript-a, с ним так же много опыта, обращайтесь)
Сроки и сумму обсудим после деталей проекта
Актуальные фриланс-проекты в категории Javascript и Typescript
Разработка корпоративной финансовой системы — React, TypeScript, Node.jsИщем опытного full-stack разработчика или небольшую команду для разработки корпоративной финансовой системы с нуля. Необходимо реализовать полный цикл разработки: проектирование архитектуры, backend, frontend, базу данных, тестирование и запуск системы. Технологии: Frontend:… Javascript и Typescript, Веб-программирование ∙ 17 часов 13 минут назад ∙ 54 ставки |
Game Developer
53 739 UAH
Ищем опытного разработчика игр для доработки существующего проекта на PixiJS. Необходимо улучшить математическую систему игры, переработать и сбалансировать бонусные раунды, а также внести изменения в текущую игровую логику. Обязателен опыт коммерческой разработки игр и… Javascript и Typescript, Разработка игр ∙ 21 час 54 минуты назад ∙ 13 ставок |
Разработка сайта по ТЗ на FramerНеобходимо сделать сайт по этим параметрам, что в ТЗ https://docs.google.com/document/d/1ODO2C9Krb4AaMiJz9wfbNzWlAyA2FwCCHL8r0biajUY/edit?usp=sharing Назовите реальный рейд на основе этого дизайна HTML и CSS верстка, Javascript и Typescript ∙ 21 час 54 минуты назад ∙ 25 ставок |
Разработка интерактивной карты Palworld для сайтаНеобходимо разработать интерактивную карту Palworld по примеру: https://palworld.gg/map Нам нужна не просто статическая картинка, а полноценная интерактивная карта, где пользователь может смотреть локации, включать / выключать категории объектов, искать нужные точки и… HTML и CSS верстка, Javascript и Typescript ∙ 2 дня 12 часов назад ∙ 31 ставка |
Разработка платформы AM Mobility (автосервис, парковка, страхование, аренда автомобилей)
259 707 UAH
Ищем команду или опытного Full Stack разработчика для создания MVP платформы AM Mobility. AM Mobility — это единая цифровая экосистема для автомобилистов, объединяющая в одном приложении и веб-платформе: парковку; автосервис; шиномонтаж; автомойку; аренду автомобилей;… Javascript и Typescript, Веб-программирование ∙ 7 дней 19 часов назад ∙ 119 ставок |