Написать асинхронный парсер (Python + aiohttp + lxml)

Data Parsing, Python — incorrectly specified categories?

Нужно написать парсер данных с сайта:
https://safer.fmcsa.dot.gov/query.asp?searchtype=ANY&query_type=queryCarrierSnapshot&query_param=MC_MX&query_string=500015
С одной странички нужно получить около 60 полей с текстовыми данными.
Запросов (страниц) будет больше 100000.
Сами данные я получаю с помощью lxml через XPath (все XPath'ы я уже получил, с этим пунктом я справился).

Обязательно:

Парсер должен быть написан/ускорен (не силен в терминологии) с помощью aiohttp. Шустро работать, не вызывать ошибок и проблем с безопасностью сайта.

Корректная запись данных в CSV файл

Опционально (если умеешь, и справишься, можем обсудить доп. стоимость этих пунктов):

Подключение прокси (или других методов безопасности парсинга, т.к. планируется много запросов).

Вместо записи в CSV файл, сделать запись данных в МОЮ Базу Данных PostgreSQL.

От вас требуется только корректно работающий ".py" код, всю работу с парсингом я беру на себя, сам буду запускать на своих серверах, и записывать данные к себе.

Обращаю внимание: Парсер нужно написать именно с учетом указанных мою технологий и инструменов. Пожалуйста, не предлагайте мне "написать с помощью BS4 и Selenium, и записать данные в SQLite", внимательно ознакомьтесь с текстом объявления, благодарю за понимание.
На все вопросы отвечу, всё обсудим и договоримся, надеюсь на благотворное сотрудничество!

Proposals 2 Rejected 1 Discussions 2

Roman Bobryshov

0 0

Projects -
Rating -
Rating 69

Budget: 1200 UAH Deadline: 3 days

Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно

The list does not show proposals concealed by the client or freelancer with a Plus profile, as well as proposals violating rules

Pavlo O. 4 March 2021

Добрый день, Максим.
Я вижу этот проект из "нужна помощь" перешел в стадию "надо сделать" 🙂
Есть опыт не только парсинга с помощью aiohttp с проксями, но и работе сервера на этом фреймворке. Читая описание проекта у меня возникает несколько непонятных моментов. Например: надо сделать парсер, но ниже "всю работу с парсингом я беру на себя". Могу только догадаться что надо написать асинхронный клиент для скачивания большого кол-ва страниц, а сам синтаксический разбор каждой страницы Вы уже знаете как реализовать. Верно? Или уточните задание, пожалуйста.
Хотел сделать ставку, но не понимаю до конца объем работ и детали. Готов помочь или написать клиентскую часть, но надо многое уточнить.

Maksim Polyakov

4 March 2021

Павел, добрый день! Да, пришлось немного изменить условия, т.к. за помощь фрилансеры берутся неохотно, заметил такую тенденцию) Да, вы правильно поняли, по большей части меня интересует асинхронный клиент, у меня нет времени самостоятельно разбираться c aiohttp. Сами данные со страниц "вытаскивать" я уже научился. Ваша кандидатура меня заинтересовала, вижу что понимаете о чем речь, готов ответить на любое кол-во вопросов.

Add Comment

Current freelance projects in the category Data Parsing

Automatic monitoring of available slots for the practical driving test (eqn.hsc.gov.ua)

Bot Development 11 proposals 23:21

Not specified
Parsing the product catalog into a universal Excel/XML (UA/RU) for Prom.ua, Khoroshop, and other CMS.

43 proposals 10:11

Not specified
Collection of phone numbers from olx.pl

36 proposals 3 August

Not specified
Autoria Parser

72 proposals 2 August

Not specified
Reddit API

Web Programming 30 proposals 30 July

Not specified

Maksim Polyakov
Ukraine

Projects 17
Rating -
Rating 169

Написать асинхронный парсер (Python + aiohttp + lxml)

Roman Bobryshov

Proposals are currently absent

Proposals concealed

Current freelance projects in the category Data Parsing

Automatic monitoring of available slots for the practical driving test (eqn.hsc.gov.ua)

Parsing the product catalog into a universal Excel/XML (UA/RU) for Prom.ua, Khoroshop, and other CMS.

Collection of phone numbers from olx.pl

Autoria Parser

Reddit API