Пофиксить парсер на VPS (парсер написанный на Node.js)
Есть парсинговая система из нескольких парсеров (сами процессы парсинга между собой не связаны, сравнивается только результат их работы) и UI для управления ей.
Задача следующая:
На данный момент времени один из парсеров написанный на Node js перестал работать, в результате парсинга последний месяц всегда приходит нулевая статистика (то есть процесс парсинга запускается, сервак, Cron и API на VPS отлично работает, но в результате на почту приходит статистика с 0 новых почтовых адресов). Также смотрел сам сайт который парситься, изменений и апдейтов на нём не увидел.
Необходимо устранить эту проблему.
Если вам удастся устранить момент с работоспособность парсера в этом таске, есть следующий таск. Для ещё одного парсера нужно будет поправить работу з proxy листом (лист прилетает из API) через который он работает. Разуметься для этого создам отдельный проект на фрилансе, данная задача к этому таску отношения не имеет.
Требования к исполнителю:
- Знание Node js на должном уровне и опыт работы;
- Опыт работы с парсерами;
- Mongodb (в нем храниться весь результат работы парсеров);
- Опыт работы с установкой и настройкой VPS;
Требуется хороший специалист, чтобы не положить всю систему и 5 парсеров которые работают параллельно с этой системой, плюс сам бэкенд который взаимодействует с UI, лежит именно на этом VPS этого парсера который мы будем фиксить, просьба делать всё предельно аккуратно.
Про саму парсинговую систему расскажу детальнее в переписке/на созвоне.
Интересует долгосрочное сотрудничество по мере возникновения неполадок, либо для реализации идей по доработке/усовершенствованию и также написания и интеграции новых парсеров.
-
3 days67 USD
3351 101 4 3 3 days67 USD
Недавно написал парсер на nodejs.
С нодой опыт не большой, что бы не поломать я не буду ничего трогать на сервере, просто посмотрю ошибки, потом запущу у себя, и тогда уже выложу поправленую версию.
По требованиям:
Требования к исполнителю:
1. опыта не много.
… 2. много писал парсеров, в основном на php, последнее время на ноде
3. мало работал
4. более 10 лет.
-
1 day22 USD
190 4 0 1 day22 USD
Есть опыт работы в подобных задачах. Отлично разбираюсь в "ubuntu/debian like" окружении
-
1 day33 USD
418 14 1 1 day33 USD
иногда бывает, что на сайте вносится перенос строки и уже все разваливается. нужно посмотреть принцип парсинга и тогда сразу будет понятно где, что и кто ) пишите в лс
-
1 day22 USD
95478 1271 1 10 1 day22 USD
Здравствуйте.Есть большой опыт с Node.js.Готов к сотрудничеству.Обращайтесь)
Current freelance projects in the category Data Parsing
Consultation on parsing Instagram account subscribersHello. It is necessary to conduct a preliminary assessment of the feasibility of the following task. I have a list of Instagram accounts. The goal is to obtain contact information (primarily email addresses) of users who follow these accounts. Previously, I encountered companies… Data Parsing ∙ 19 hours 5 minutes back ∙ 11 proposals |
A specialist is needed to find contacts of decision-makers in Ukraine.It is necessary to gather a database (or ready database) of contacts of decision-makers (DMs) in companies in Ukraine. Information Gathering, Data Parsing ∙ 23 hours 37 minutes back ∙ 14 proposals |
Need to scrape data from LinkedIn
We need to scrape data from LinkedIn based on our list. For each entry, we need to find and collect available data if it exists on the LinkedIn profile, including the profile picture on the LinkedIn social network, email address, links to social media, company website, and… Data Parsing ∙ 1 day 5 hours back ∙ 23 proposals |
Parsing and classification of data
We are looking for a developer to implement a system for collecting and structuring data from open sources. We have a database of small business owners in the USA, which contains the person's name, company name, address, and state. It is necessary to build a process for… Web Programming, Data Parsing ∙ 1 day 6 hours back ∙ 36 proposals |
Svitlahata
17 USD
It is necessary to import 1819 products from the XML/YML feed of Prom.ua to OpenCart 3. A ready XML file is available, which contains product names, descriptions, prices, photos, specifications, manufacturers, and categories. Requirements: import all products to OpenCart… Content Management Systems, Data Parsing ∙ 2 days 9 hours back ∙ 33 proposals |
Kamenets-Podolskii