Parzer strony internetowej
1 . Url (http / HTTPS)
2. metoda (GET, POST, PUT i tak dalej)
3. parametry do zapytania (jeśli istnieje) na przykład: var1 = 1&var2=2 lub masywne (jak będzie wygodniejsze).
Cztery Słowo kluczowe lub link, który znajdzie się na danej stronie
5 . Ustawienia do połączenia z proxy
Trzeba pracować z użyciem selenium. Przegląd Google Chrome.
W rezultacie należy zwrócić następujące:
1 . Słowo kluczowe / fraza lub link znaleziono lub nie znaleziono
2 . Wszystkie nagłówki odpowiedzi z serwera (jeśli zostały przekierowane, nagłówki do przekierowania i nagłówki po przekierowaniu).
3 . Archiwum HAR z pełnym domkiem całego wyniku weryfikacji. Archiwum należy przechowywać na dysku. Nazwa jest randomizowana. Wszystkie pozostałe dane muszą być przechowywane w tabeli w BD MySQL. w formacie JSON
Wersja Python 3.10
-
1673 100 5 3 Dobry wieczór . Ciekawy projekt . Napisz, chętnie będę z Tobą współpracował!
-
97 Mogę spróbować zrealizować. Doskonale dobrze rozumiem parsing, aż do utworzenia asynchronicznych parsers (możesz to sprawdzić za pośrednictwem linku w opisie na StackOverflow na temat pytań/odpowiedzi). Ostatni duży projekt liczył 7 asynchronnych parzerów i pracował z MySQL BD z 10 milionów zapisów.
W większości pracowałem bezpośrednio z requests/aiohttp, ale z selenium ostatni raz pracowałem około roku temu, ale pamiętać, myślę, że nie będzie trudne. Istnieje jeszcze kilka pytań, zwłaszcza o krople na stronie, które warto parzyć witryny, i bd mysql, ale zadania są jasne, już wpadł w głowę przykładowy algorytm pracy.
Czas: do 3 dni (myślę, że uda mi się szybciej, ale zabieram z zapasem)
Cena 2000-3000 zł, w zależności od szczegółowego TZ.
Aktualne zlecenia dla freelancerów w kategorii Python
Platforma komentowania AI dla TikTok i Instagram.Cel projektuOpracować system, który pozwala zarządzać dużą liczbą kont TikTok i Instagram oraz automatycznie publikować odpowiednie komentarze pod wybranymi filmami z wykorzystaniem AI.Podstawowa funkcjonalność1. Zarządzanie kontamiNależy wdrożyć możliwość podłączenia… AI i uczenie maszynowe, Python ∙ 59 minut temu ∙ 6 ofert |
Zbudować model klasyfikacji klientów1. Są dane klientów w Mongo/SQL (około 20 000 zapisów z surowymi danymi). 2. Należy na ich podstawie zbudować cechy i model klasyfikacji klientów na grupy behawioralne. 3. Projekt wykonać w Pythonie. AI i uczenie maszynowe, Python ∙ 1 dzień 19 godzin temu ∙ 32 oferty |
Automatyzacja IT prowadzenia raportowania VAT
830 PLN
Konieczne jest opracowanie systemu do automatyzacji przenoszenia danych o sprzedaży z CRM do systemu księgowego Wafeq. System ma importować raporty bankowe i płatnicze, automatycznie uzgadniać płatności z fakturami, generować faktury do raportowania VAT oraz minimalizować pracę… AI i uczenie maszynowe, Python ∙ 2 dni temu ∙ 42 oferty |
Narzędzie do porównywania rachunków z bankiem, kartami i księgowymZadanie techniczne: narzędzie do porównywania rachunków z bankiem, kartami i księgowymOgólny cel Potrzebne jest lokalne narzędzie (skrypt/mała aplikacja w Pythonie), które uruchamiane ręcznie co 1-2 miesiące na moim komputerze i dokonuje porównania między: Rachunkami, które… Python, Aplikacje desktopowe ∙ 2 dni 12 godzin temu ∙ 42 oferty |
Automatyczne publikowanie wideo w mediach społecznościowych według harmonogramuSpecyfikacja techniczna (ST)Automatyczne publikowanie wideo w mediach społecznościowych według harmonogramuOpis projektuPotrzebny jest skrypt/bot (preferowany Python, lub inne rozwiązanie według Twojego wyboru — najważniejsza jest stabilność i łatwość w utrzymaniu), który… Python, Tworzenie chatbota ∙ 3 dni temu ∙ 59 ofert |