Budżet: 1200 UAH Termin: 3 dni
Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно
Нужно написать парсер данных с сайта:
https://safer.fmcsa.dot.gov/query.asp?searchtype=ANY&query_type=queryCarrierSnapshot&query_param=MC_MX&query_string=500015
С одной странички нужно получить около 60 полей с текстовыми данными.
Запросов (страниц) будет больше 100000.
Сами данные я получаю с помощью lxml через XPath (все XPath'ы я уже получил, с этим пунктом я справился).
Обязательно:
Парсер должен быть написан/ускорен (не силен в терминологии) с помощью aiohttp. Шустро работать, не вызывать ошибок и проблем с безопасностью сайта.
Корректная запись данных в CSV файл
Опционально (если умеешь, и справишься, можем обсудить доп. стоимость этих пунктов):
Подключение прокси (или других методов безопасности парсинга, т.к. планируется много запросов).
Вместо записи в CSV файл, сделать запись данных в МОЮ Базу Данных PostgreSQL.
От вас требуется только корректно работающий ".py" код, всю работу с парсингом я беру на себя, сам буду запускать на своих серверах, и записывать данные к себе.
Обращаю внимание: Парсер нужно написать именно с учетом указанных мою технологий и инструменов. Пожалуйста, не предлагайте мне "написать с помощью BS4 и Selenium, и записать данные в SQLite", внимательно ознакомьтесь с текстом объявления, благодарю за понимание.
На все вопросы отвечу, всё обсудим и договоримся, надеюсь на благотворное сотрудничество!
Budżet: 1200 UAH Termin: 3 dni
Здаствуйте, есть опыт работы с парсерами и асинхронщиною в python, сделаю все качественно
Добрый день, Максим.
Я вижу этот проект из "нужна помощь" перешел в стадию "надо сделать" 🙂
Есть опыт не только парсинга с помощью aiohttp с проксями, но и работе сервера на этом фреймворке. Читая описание проекта у меня возникает несколько непонятных моментов. Например: надо сделать парсер, но ниже "всю работу с парсингом я беру на себя". Могу только догадаться что надо написать асинхронный клиент для скачивания большого кол-ва страниц, а сам синтаксический разбор каждой страницы Вы уже знаете как реализовать. Верно? Или уточните задание, пожалуйста.Хотел сделать ставку, но не понимаю до конца объем работ и детали. Готов помочь или написать клиентскую часть, но надо многое уточнить.
Павел, добрый день! Да, пришлось немного изменить условия, т.к. за помощь фрилансеры берутся неохотно, заметил такую тенденцию) Да, вы правильно поняли, по большей части меня интересует асинхронный клиент, у меня нет времени самостоятельно разбираться c aiohttp. Сами данные со страниц "вытаскивать" я уже научился. Ваша кандидатура меня заинтересовала, вижу что понимаете о чем речь, готов ответить на любое кол-во вопросов.
konieczne jest zorganizowanie sposobu zbierania nowo utworzonych FOP-ów oraz, jeśli to możliwe, TOW. czy to ma być parsowanie, czy coś innego - powiedzcie, jaki to ma być sposób
Dzień dobry,Zlecę stworzenie stabilnego i niezawodnego rozwiązania do automatycznego monitorowania cen oraz dostępności produktów z konkretnego, dużego polskiego sklepu internetowego z branży RTV/AGD.Cel projektu: System musi regularnie sprawdzać wybrane linki produktowe i w przypadku zmiany ceny lub statusu dostępności, wysłać powiadomienie (najchętniej na Telegram, Discord lub e-mail – do ustalenia).Wyzwanie: Strona sklepu posiada bardzo agresywne systemy antybotowe (Akamai/Cloudflare). Zwykłe skrypty pobierające kod strony są natychmiast wykrywane i blokowane. Rozwiązanie musi skutecznie omijać te zabezpieczenia,maskować ruch bota i działać stabilnie w dłuższej perspektywie, bez ciągłego wywalania błędów "Access Denied".Czego oczekuję od wykonawcy: Zaproponowania kompletnej architektury i technologii (nie narzucam języka programowania ani konkretnych narzędzi). Dostarczenia gotowego rozwiązania, które będę mógł łatwo uruchomić i nim zarządzać. Podpowiedzi w kwestii infrastruktury (np. jakie proxy będą niezbędne, aby system działał bezproblemowo).W odpowiedzi na ogłoszenie proszę krótko opisać: Jakie podejście/technologię proponujesz, aby skutecznie i długofalowo omijać zabezpieczenia tego sklepu? Jak widzisz kwestię przekazywania powiadomień? Jaki jest orientacyjny koszt wykonania oraz czas realizacji?Zapraszam do składania ofert.
O firmie Firma handlowa. Pracujemy z grupą towarową liczącą ponad 2000 pozycji w różnych kategoriach.Aktualna sytuacja Obecnie nomenklatura jest prowadzona w Google Sheets — dane są skonsolidowane według zakładek (kategorii). Struktura zakładek: Nazwa towaru Grupy cen: koszt własny, hurt, detal Charakterystyki: waga, ilość w opakowaniu itd. Ważne: liczba kolumn różni się w zależności od kategorii towarów, ponieważ mają one różne charakterystyki.Dlaczego obecne rozwiązanie nie jest odpowiednie Google Sheets nie pozwala na ustawienie praw dostępu na poziomie poszczególnych kolumn. Potrzebujemy: Przyznawania użytkownikom praw do wyświetlania określonych kolumn (na przykład tylko kosztów własnych) Przyznawania praw do edycji określonych kolumn (na przykład cen detalicznych) Ograniczenia dostępu do pozostałych kolumn w tej samej zakładceCo należy zrobićPodstawowe wymagania Elastyczny system rozgraniczenia praw Dostęp na poziomie poszczególnych kolumn (odczyt / zapis) Przydzielanie praw według ról lub użytkowników Zarządzanie prawami bez udziału programistów Wsparcie dla różnych struktur danych Różne kategorie towarów mają różny zestaw charakterystyk Dodawanie nowych kolumn/charakterystyk bez programowania Niepodległość od programistów Administracja przez wewnętrznych pracowników Dodawanie kategorii, kolumn, użytkowników — przez interfejs Integracja z ERP Eksport aktualnych cen do naszego systemu ERP Eksport lub automatyczna integracja przez API Analiza danych z wykorzystaniem AI (pożądane) Możliwość analizy całej listy nomenklatury Ubogacanie, weryfikacja, rekomendacje — jeśli masz pomysły, opiszOczekiwany rezultat Działające rozwiązanie, w którym: Nomenklatura jest zorganizowana według kategorii z różnymi zestawami charakterystyk Prawa do kolumn są elastycznie konfigurowane (wyświetlanie / edytowanie) Dane są eksportowane do ERP Zespół może samodzielnie zarządzać systememCo potrzebujemy od Ciebie przy odpowiedzi Opisz w ogólnych zarysach, jak widzisz rozwiązanie: Jakie narzędzie / platformę proponujesz
Dobry wieczór, jest zadanie: trzeba 1-2 razy dziennie sprawdzać dostępność i aktualność cen towarów, które zostały dodane na stronę (strona na platformie prom.ua) z strony dostawcy. Możecie obliczyć cenę i jak to będzie wyglądać.
Skonfigurować automatyczne aktualizacje raz dziennie dostępności towarów na naszej stronie na prom.ua. Mamy dostawcę, który codziennie wysyła cennik towarów w formacie Excel na nasz adres e-mail. Artykuły na naszej stronie i w cenniku dostawcy są identyczne. Wartości w kolumnie "zapasy" to albo brak dostępności, albo liczba, albo więcej niż jedna skrzynka - należy aktualizować na stronie do stanu Gotowe do wysyłki lub Brak w magazynie. Artykuły, które nie znajdują się w cenniku dostawcy - pozostawić bez zmian. Proszę zaproponować rozwiązanie, termin i budżet. Dziękuję za wcześniejszą odpowiedź, czekam na specjalistę do współpracy.