Dodać do parsera na Phyton: Proxy, dźwięk, warunki w config.yaml.
Witaj. Zadanie dla tych, którzy podłączyli listę proxy ipv4 z hasłem do parsera w Pythonie. A także wiedzą, jak dodać logikę, aby parser w przypadku wystąpienia błędu brał inne proxy z listy, którą mu dałem. Wiem, gdzie co się znajduje w kodzie i pokażę wam.
Aby ocenić kod i koszt pracy. I napiszecie, jakąś umowną kwotę. Rozumiem was. Dlatego wygodna opcja. Podłączycie się do mojego komputera przez Anydesk lub Teamviewer. Zobaczycie kod. Zrozumiecie, że możecie wykonać zadanie. Zaktualizujecie swoją stawkę pod projektem, przyjmę was do projektu. Wprowadzę rezerwę środków. Znowu się podłączycie i napiszecie potrzebny kod. Przetestuję, jeśli działa, przyjmuję projekt. Sam skompiluję, zbiorę build. I tylko tak! Bo! Jeśli nie spojrzycie w kod, napiszecie jakąś stawkę. Co z tego wyjdzie? Stracony mój i wasz czas w próżnię i pieniądze? Myślę, że ani wam, ani mnie, to nie jest potrzebne. Myślę, że to wyjaśniliśmy.
Komputer mam PyCharm. Zrobiłem możliwość uruchamiania parsera, samego main, w kompilatorze. Wygodne do testowania kodu.
O samym kodzie: kod napisany jest w Pythonie. Zapytania do serwera wykonywane są przez aiohttp, ponieważ projekt jest asynchroniczny, czyli równolegle wysyłane są zapytania do serwera, a nie po kolei.
Build wykonany przez bibliotekę PyInstaller. Uruchamiam program .exe, i uruchamia się wiersz poleceń. A sam parser otwiera się w przeglądarce, lokalnie pod adresem 127: i tak dalej.
1. Podłączyć proxy Ipv4 z hasłem. Napisać kod do podłączenia proxy. Zrealizować tak, aby proxy brało z mojego config.yaml i samo z siebie zapisywało w samym config.yaml. Musi być pole proxy. Potem tam powinien być lista moich proxy: w takiej kolejności.
Wszystkie proxy będą szły w kolumnie. Każde proxy, swój ip:port:password.
Przy uruchamianiu programu niech bierze dowolne proxy z listy. To można wpisać w plik main.py. Aby przy starcie programu brało proxy. Obowiązkowo zapisujemy kod, jeśli wystąpi błąd przy podłączeniu do proxy, a takie zawsze może być, to wybrać inne z listy.
Teraz najważniejsze! Przy zbieraniu wyników z Google. Występuje błąd. Po pewnym czasie pojawia się captcha. Limity są losowe. Pomaga mi zmiana ip, robiłem to ręcznie. Tutaj jest zapisany kod, aby ponownie połączyć się po 15-20 sekundach. I tutaj trzeba dopisać. W czasie przerwy, wziąć inne proxy, które jest na liście w pliku config.yaml. Jeśli znowu błąd. Znowu wziąć inne. Tylko nie jakieś, nie losowo, a po kolei. Brało 2 proxy, teraz weź 3 proxy. Testowałem ręcznie, podczas przerwy zmieniałem ip, i wtedy Google zabierał swoją captchę, a parser dalej działał. NA EKRANIE KOD. Przerwa i opóźnienie. A także zapisany standardowy dźwięk. Dźwięki trzeba będzie zamienić na moje. O tym w punkcie 2.
2. Zapisz kod dla dźwięku. Teraz tam są zapisane standardowe dźwięki. Które automatycznie się generują. Chcę, abyście zamienili kod. Na kod, w którym będzie wskazane, aby brało dźwięki z config.yaml. Innymi słowy, przy różnych działaniach programu wskazujemy ścieżkę do config.yaml.
A ja już sam będę w Config wskazywał adres umiejscowienia dźwięków. Tylko pokażecie dla przykładu, jak tam adres poprawnie pisać.
W jakich momentach i gdzie wstawić te dźwięki, w kodzie pokażę. Ale zapisujemy dla każdego działania programu swoje wartości, dźwięk będzie różny. No typowo w config będzie.
Pole Sound. I w nim będzie. Lista 5 dźwięków. Start parsowania wyszukiwania. Koniec parsowania wyszukiwania. Rozpoczęty parsing stron. Błąd 429. Tam będzie dźwięk, wstawimy. Zakończenie parsowania stron. Warunki dla przykładu, już zniż podałem.
google_search_start "dysk:C/papka/1-dźwięk.mp3"
google_search_end "dysk:C/papka/2-dźwięk.mp3"
I tak dalej. 5 dźwięków.
3. Domyślnie. Zrobić 2 aktywne przyciski. Żebym ich nie włączał za każdym razem. A same już były włączone. Tutaj zrozumiałe i proste.
Zrobić, aby po zakończeniu zbierania wyników. Automatycznie naciskał przycisk parsowania. Bo teraz za każdym razem na niego naciskam. Tutaj też nic trudnego. Tylko wyprowadzić włączenie i wyłączenie tej akcji w config.yaml
Typu nazwijmy pole. Google_Search_And_Parsing: "1" #1 - aktywuje automatyczną akcję. 0 - wyłączy tę akcję.
No typowo, jeśli sam wchodzę naciskać na ten przycisk jak wcześniej, to żebym nie wchodził za każdym razem w kod. A wchodził tylko w CONFIG. I tam włączał i wyłączał.
Załączniki 1
-
3893 24 0 Dzień dobry,
Jestem gotowy zająć się Państwa projektem. Mam doświadczenie w podłączaniu proxy IPv4 z hasłem do parsera w Pythonie oraz umiejętności dodawania logiki do automatycznego wyboru innego proxy w przypadku błędu. Wiem, gdzie znajduje się kod i jestem gotów go Państwu pokazać.
Moja stawka to 16$ za godzinę. Aby rozpocząć pracę, muszę dokładniej zapoznać się z wymaganiami i zakresem projektu.
Pozostańmy w kontakcie,
Maksym
-
357 8 0 1 Praca nie jest trudna, z parsowaniem pracuję od ponad dwóch lat, więc mogę to wykonać bez problemów. Mam kilka pytań, które chciałbym omówić osobiście
-
Чому Ви для кожного нового завдання над Вашим парсером шукаєте нового фрілансера щоб виконав а не знайдете одного який би Вам робив би все по цьому парсері ?
-
оо який грандіозний авторитаризм. Самий зайнятий замовник, що готовий купу часу витратити на підключення кожного хто тут підпишеться, дочекається поки той знайде помилку ... і так по черзі, але відповісти на просте, логічне запитання - та ну...
Не знаю, як ви Віталій, а я вже здогадуюся чому роботодавець не звертається до попередніх виконавців 😉
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Newsletter LinkedIn
438 PLN
Newsletter LinkedIn Należy uruchomić newsletter LinkedIn na podstawie podanej bazy. 30 000+ kontaktów Czekamy na propozycje E-mail marketing, Parsowanie danych ∙ 3 godziny 22 minuty temu ∙ 4 oferty |
Tworzenie automatycznych wideo shorts
164 PLN
Co dokładnie muszę zrobić Muszę stworzyć agenta AI lub lekki content factory 1. To jest tworzenie pomysłu Referencja https://youtube.com/shorts/omgVX00yaD8?is=1Gz_TUUlftZnkxQv 2. To jest tworzenie tekstu 3. To jest tworzenie tła + tekst 3. Ożywienie tła, tekst pozostaje… AI i uczenie maszynowe, Parsowanie danych ∙ 18 godzin 28 minut temu ∙ 12 ofert |
Parsowanie emaili firm z określonej branży
411 PLN
Znajdź kontakty (e-mail, numer telefonu) firm, które zajmują się określonym biznesem, wskazanym w tym dokumencie Google https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=#sharing Wynik ma być w formie tabeli z kolumnami: 1. Telefon w… Parsowanie danych ∙ 1 dzień 3 godziny temu ∙ 29 ofert |
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 2 dni 8 godzin temu ∙ 43 oferty |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 3 dni 1 godzina temu ∙ 58 ofert |