Dopracować parser w powershell
Parser idealnie działał przez ponad 3 miesiące, ale w pewnym momencie strona zaczęła blokować za częste zapytania, i parser przestał działać, trzeba go poprawić
-
Dzień dobry. Chciałbym zobaczyć kod źródłowy parsera, ponieważ bez tego nie można ocenić zamówienia.
-
Twoj problem jest typowy: strona zaczęła blokować przez częste i jednorodne zapytania — to rozwiązuje się na poziomie logiki parsowania, a nie „łataniem” kodu.
Mogę dopracować parser PowerShell, aby znowu stabilnie działał:
Zmniejszenie częstotliwości zapytań (rozsądne przerwy, randomizacja)
Zmiana/rotacja User-Agent i nagłówków
Praca z ciasteczkami i sesjami
…
Obchodzenie prostych ograniczeń anti-bot
W razie potrzeby — wsparcie proxy
Sprawdzenie, aby parser nie łapał bana po kilku uruchomieniach
Ponieważ parser wcześniej stabilnie działał przez 3+ miesiące, to nie jest przepisywanie od zera, a adekwatne dopracowanie logiki.
Jestem gotów szybko spojrzeć na kod, określić przyczynę bana i wprowadzić poprawki.
-
199 Dzień dobry. Chciałbym spojrzeć na kod parsera oraz na samą stronę. Również doradziłbym przepisanie parsera na Pythona.
-
4826 162 1 1 Dzień dobry. Trzeba spojrzeć na kod parsera, wtedy wszystko stanie się bardziej mniej jasne. Będę zadowolony ze współpracy, proszę się kontaktować!
-
5562 105 2 pomogę,
czy można zapoznać się z kodem? zajmuję się parsowaniem od ponad 15 lat
-
2264 18 3 Dzień dobry. Mogę naprawić Twój parser. Napisz ze szczegółami, omówimy.
-
1251 35 1 3 Cześć, zrobię. Napisz na priv.
Cześć, zrobię. Napisz na priv.
Cześć, zrobię. Napisz na priv.
Cześć, zrobię. Napisz na priv.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Newsletter LinkedIn
438 PLN
Newsletter LinkedIn Należy uruchomić newsletter LinkedIn na podstawie podanej bazy. 30 000+ kontaktów Czekamy na propozycje E-mail marketing, Parsowanie danych ∙ 18 godzin 30 minut temu ∙ 8 ofert |
Parsowanie emaili firm z określonej branży
411 PLN
Znajdź kontakty (e-mail, numer telefonu) firm, które zajmują się określonym biznesem, wskazanym w tym dokumencie Google https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=#sharing Wynik ma być w formie tabeli z kolumnami: 1. Telefon w… Parsowanie danych ∙ 1 dzień 18 godzin temu ∙ 31 ofert |
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 2 dni 23 godziny temu ∙ 43 oferty |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 3 dni 16 godzin temu ∙ 59 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 3 dni 20 godzin temu ∙ 29 ofert |