Написать асинхронный парсер (Python + aiohttp + lxml)

Python, Парсинг данных — неверно указаны категории?

Нужно написать парсер данных с сайта:
https://safer.fmcsa.dot.gov/query.asp?searchtype=ANY&query_type=queryCarrierSnapshot&query_param=MC_MX&query_string=500015
С одной странички нужно получить около 60 полей с текстовыми данными.
Запросов (страниц) будет больше 100000.
Сами данные я получаю с помощью lxml через XPath (все XPath'ы я уже получил, с этим пунктом я справился).

Обязательно:

Парсер должен быть написан/ускорен (не силен в терминологии) с помощью aiohttp. Шустро работать, не вызывать ошибок и проблем с безопасностью сайта.

Корректная запись данных в CSV файл

Опционально (если умеешь, и справишься, можем обсудить доп. стоимость этих пунктов):

Подключение прокси (или других методов безопасности парсинга, т.к. планируется много запросов).

Вместо записи в CSV файл, сделать запись данных в МОЮ Базу Данных PostgreSQL.

От вас требуется только корректно работающий ".py" код, всю работу с парсингом я беру на себя, сам буду запускать на своих серверах, и записывать данные к себе.

Обращаю внимание: Парсер нужно написать именно с учетом указанных мою технологий и инструменов. Пожалуйста, не предлагайте мне "написать с помощью BS4 и Selenium, и записать данные в SQLite", внимательно ознакомьтесь с текстом объявления, благодарю за понимание.
На все вопросы отвечу, всё обсудим и договоримся, надеюсь на благотворное сотрудничество!

Ставки 2 Отклоненные 1 Обсуждения 2

Roman Bobryshov

0 0

Проекты -
Оценка -
Рейтинг 69

Бюджет: 1200 UAH Срок: 3 дня

Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно

В списке не показаны ставки, скрытые заказчиком или фрилансером c профилем Plus, а также ставки, нарушающие правила

Pavlo O. 4 марта 2021

Добрый день, Максим.
Я вижу этот проект из "нужна помощь" перешел в стадию "надо сделать" 🙂
Есть опыт не только парсинга с помощью aiohttp с проксями, но и работе сервера на этом фреймворке. Читая описание проекта у меня возникает несколько непонятных моментов. Например: надо сделать парсер, но ниже "всю работу с парсингом я беру на себя". Могу только догадаться что надо написать асинхронный клиент для скачивания большого кол-ва страниц, а сам синтаксический разбор каждой страницы Вы уже знаете как реализовать. Верно? Или уточните задание, пожалуйста.
Хотел сделать ставку, но не понимаю до конца объем работ и детали. Готов помочь или написать клиентскую часть, но надо многое уточнить.

Максим Поляков

4 марта 2021

Павел, добрый день! Да, пришлось немного изменить условия, т.к. за помощь фрилансеры берутся неохотно, заметил такую тенденцию) Да, вы правильно поняли, по большей части меня интересует асинхронный клиент, у меня нет времени самостоятельно разбираться c aiohttp. Сами данные со страниц "вытаскивать" я уже научился. Ваша кандидатура меня заинтересовала, вижу что понимаете о чем речь, готов ответить на любое кол-во вопросов.

Добавить комментарий

Максим Поляков
Украина

Проектов 17
Оценка -
Рейтинг 169

Написать асинхронный парсер (Python + aiohttp + lxml)

Roman Bobryshov

Ставки пока отсутствуют

Ставки скрыты

Актуальные фриланс-проекты в категории Python

Интеграция ChoiceQR→ KeyCRM через API

Продажа покупки целевого трафика Пуш уведомления, ин-пейдж пуш, онклик (поп ап), баннер. Модели оплаты.

Сигнальный бот для трейдинга

Парсинг сайта, обход защиты Akami

Разработка ИИ-бота для приема и обработки заказов от ресторанов в Telegram с интеграцией в 1С