Написать асинхронный парсер (Python + aiohttp + lxml)

Python, Парсинг даних — неправильно зазначені категорії?

Нужно написать парсер данных с сайта:
https://safer.fmcsa.dot.gov/query.asp?searchtype=ANY&query_type=queryCarrierSnapshot&query_param=MC_MX&query_string=500015
С одной странички нужно получить около 60 полей с текстовыми данными.
Запросов (страниц) будет больше 100000.
Сами данные я получаю с помощью lxml через XPath (все XPath'ы я уже получил, с этим пунктом я справился).

Обязательно:

Парсер должен быть написан/ускорен (не силен в терминологии) с помощью aiohttp. Шустро работать, не вызывать ошибок и проблем с безопасностью сайта.

Корректная запись данных в CSV файл

Опционально (если умеешь, и справишься, можем обсудить доп. стоимость этих пунктов):

Подключение прокси (или других методов безопасности парсинга, т.к. планируется много запросов).

Вместо записи в CSV файл, сделать запись данных в МОЮ Базу Данных PostgreSQL.

От вас требуется только корректно работающий ".py" код, всю работу с парсингом я беру на себя, сам буду запускать на своих серверах, и записывать данные к себе.

Обращаю внимание: Парсер нужно написать именно с учетом указанных мою технологий и инструменов. Пожалуйста, не предлагайте мне "написать с помощью BS4 и Selenium, и записать данные в SQLite", внимательно ознакомьтесь с текстом объявления, благодарю за понимание.
На все вопросы отвечу, всё обсудим и договоримся, надеюсь на благотворное сотрудничество!

Ставки 2 Відхилені 1 Обговорення 2

Roman Bobryshov

0 0

Проєкти -
Оцінка -
Рейтинг 69

Бюджет: 1200 UAH Термін: 3 дні

Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно

У списку не показані ставки, приховані замовником чи фрилансером з Plus, а також ставки, що порушують правила

Pavlo O. 4 березня 2021

Добрый день, Максим.
Я вижу этот проект из "нужна помощь" перешел в стадию "надо сделать" 🙂
Есть опыт не только парсинга с помощью aiohttp с проксями, но и работе сервера на этом фреймворке. Читая описание проекта у меня возникает несколько непонятных моментов. Например: надо сделать парсер, но ниже "всю работу с парсингом я беру на себя". Могу только догадаться что надо написать асинхронный клиент для скачивания большого кол-ва страниц, а сам синтаксический разбор каждой страницы Вы уже знаете как реализовать. Верно? Или уточните задание, пожалуйста.
Хотел сделать ставку, но не понимаю до конца объем работ и детали. Готов помочь или написать клиентскую часть, но надо многое уточнить.

Максим Поляков

4 березня 2021

Павел, добрый день! Да, пришлось немного изменить условия, т.к. за помощь фрилансеры берутся неохотно, заметил такую тенденцию) Да, вы правильно поняли, по большей части меня интересует асинхронный клиент, у меня нет времени самостоятельно разбираться c aiohttp. Сами данные со страниц "вытаскивать" я уже научился. Ваша кандидатура меня заинтересовала, вижу что понимаете о чем речь, готов ответить на любое кол-во вопросов.

Додати коментар

Максим Поляков
Україна

Проєктів 17
Оцінка -
Рейтинг 169

Написать асинхронный парсер (Python + aiohttp + lxml)

Roman Bobryshov

Ставки поки відсутні

Ставки приховані

Актуальні фриланс-проєкти в категорії Python

Інтеграція ChoiceQR→ KeyCRM через API

Продаж покупка цільового трафіку Пуш уведомления, ин-пейдж пуш, онклик (поп ап), баннер. Модели опла

Сигнальний бот для трейдингу

Парсинг сайту, обхід захисту Akami

Розробка ІІ-бота для прийому та обробки замовлень від ресторанів у Telegram з інтеграцією в 1С