Написать асинхронный парсер (Python + aiohttp + lxml)
Нужно написать парсер данных с сайта:
https://safer.fmcsa.dot.gov/query.asp?searchtype=ANY&query_type=queryCarrierSnapshot&query_param=MC_MX&query_string=500015
С одной странички нужно получить около 60 полей с текстовыми данными.
Запросов (страниц) будет больше 100000.
Сами данные я получаю с помощью lxml через XPath (все XPath'ы я уже получил, с этим пунктом я справился).
Обязательно:
Парсер должен быть написан/ускорен (не силен в терминологии) с помощью aiohttp. Шустро работать, не вызывать ошибок и проблем с безопасностью сайта.
Корректная запись данных в CSV файл
Опционально (если умеешь, и справишься, можем обсудить доп. стоимость этих пунктов):
Подключение прокси (или других методов безопасности парсинга, т.к. планируется много запросов).
Вместо записи в CSV файл, сделать запись данных в МОЮ Базу Данных PostgreSQL.
От вас требуется только корректно работающий ".py" код, всю работу с парсингом я беру на себя, сам буду запускать на своих серверах, и записывать данные к себе.
Обращаю внимание: Парсер нужно написать именно с учетом указанных мою технологий и инструменов. Пожалуйста, не предлагайте мне "написать с помощью BS4 и Selenium, и записать данные в SQLite", внимательно ознакомьтесь с текстом объявления, благодарю за понимание.
На все вопросы отвечу, всё обсудим и договоримся, надеюсь на благотворное сотрудничество!
-
3 dni99 PLN
69 3 dni99 PLN
Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно
-
Добрый день, Максим.
Я вижу этот проект из "нужна помощь" перешел в стадию "надо сделать" 🙂
Есть опыт не только парсинга с помощью aiohttp с проксями, но и работе сервера на этом фреймворке. Читая описание проекта у меня возникает несколько непонятных моментов. Например: надо сделать парсер, но ниже "всю работу с парсингом я беру на себя". Могу только догадаться что надо написать асинхронный клиент для скачивания большого кол-ва страниц, а сам синтаксический разбор каждой страницы Вы уже знаете как реализовать. Верно? Или уточните задание, пожалуйста.Хотел сделать ставку, но не понимаю до конца объем работ и детали. Готов помочь или написать клиентскую часть, но надо многое уточнить.
-
Павел, добрый день! Да, пришлось немного изменить условия, т.к. за помощь фрилансеры берутся неохотно, заметил такую тенденцию) Да, вы правильно поняли, по большей части меня интересует асинхронный клиент, у меня нет времени самостоятельно разбираться c aiohttp. Сами данные со страниц "вытаскивать" я уже научился. Ваша кандидатура меня заинтересовала, вижу что понимаете о чем речь, готов ответить на любое кол-во вопросов.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 15 godzin 12 minut temu ∙ 39 ofert |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 1 dzień 7 godzin temu ∙ 53 oferty |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 1 dzień 11 godzin temu ∙ 29 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 3 dni 3 godziny temu ∙ 44 oferty |
Zbieranie (parsowanie) bazy towarów z witryn dostawców (Excel / CSV)
822 PLN
Zbieranie bazy produktów z witryn dostawców (Excel / CSV)Dzień dobry.Potrzebny jest specjalista do zbierania i strukturyzowania danych z kilku witryn dostawców, do których dostęp zostanie zapewniony.Zadanie:Należy stworzyć jednolitą bazę produktów w formacie Excel (XLSX) lub… Programowanie stron internetowych, Parsowanie danych ∙ 4 dni 11 godzin temu ∙ 107 ofert |
Ukraina