Wykryć i usunąć błąd. Program w pythonie + selenium
Witaj.
Przeczytaj to, co poniżej, i jeśli jesteś pewien, że możesz usunąć ten błąd, wtedy wyślę ci 2-minutowe wideo, bez dźwięku, w którym znajduje się kod do szczegółowego zapoznania się.
Zadanie dla kogoś, kto miał doświadczenie z Selenium, może i bez niego.
Ponieważ zapytania są wysyłane do Google przez Selenium. Selenium otwiera strony wyszukiwania Google. 7 stron. Na nich, nawet ręcznie liczyłem 62 wyniki.
Funkcja, która przetwarza i zbiera potrzebne dane. A to po prostu url strony.
I nic więcej. Nie zbiera wszystkich danych. Url 62. A bierze jakoś 52.
Słowa programisty, który próbował naprawić ten błąd:
W twoim przypadku jest plik (gsearch... coś tam, nie zapamiętałem), w nim jest funkcja, za pomocą której wykonuje się pobieranie linków w wyszukiwarce. Dodałem tam wyświetlanie logów, działa sprawnie, wyświetla wszystkie dostępne linki - w naszym przypadku - wszystkie 62 szt. W utils.py jest funkcja get_google_search_results_alt(), w niej nie rozumiemy dlaczego otrzymujemy 56-57 szt., zamiast tych 62.
Problem, jak zauważyłem, pojawił się po przejściu na drugą stronę (użycie paginacji do przejścia), na niej tracimy 4 linki, i dlatego w ostatecznej wersji otrzymujemy 56-57 szt., chociaż Selenium otrzymuje je wszystkie.
Możliwe, że w funkcji get_google_search_results_alt jest jakieś ograniczenie lub, być może, coś sprawdza i w ostatecznej wersji usuwa te linki, być może przez format linku, być może przez inne problemy - na razie tego nie zrozumiałem.
Logi w razie potrzeby programista sam może dodać, to nie jest zbyt trudne.
Jeśli nie jesteś pewien, że możesz rozwiązać ten problem. Wtedy pozwalam najpierw połączyć się z moim kodem i zobaczyć. Jeśli jesteś pewien, że możesz rozwiązać ten problem. Tak i napisz mi. Wtedy przyjmę cię do projektu i wprowadzę rezerwę środków do projektu. Mogę cię również od razu przyjąć do projektu, to dla mnie nie jest zasadnicze.
-
3644 17 0 Cześć✋,
Mam doświadczenie w pracy z Selenium i web scrapingiem.
Zapoznając się z Twoim opisem, będę w stanie zidentyfikować i rozwiązać problem z niepełnym pobieraniem adresów URL podczas przeglądania stron wyników wyszukiwania Google.
Jestem gotów przejrzeć Twój kod lub od razu zacząć pracować nad rozwiązaniem zadania.
Dziękuję za możliwość, chętnie pomogę!
… Z poważaniem,
Andrzej!)
-
759 3 1 Dobry wieczór. Jestem gotów zająć się Twoim zamówieniem, problem jest zrozumiały. Mam duże doświadczenie w pracy z Selenium i parsowaniem. Będę zadowolony z współpracy!
-
289 Cześć
mogę spróbować spojrzeć i postarać się znaleźć rozwiązanie problemu
-
покажите код.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Wymagany specjalista ds. promocji w Telegramie.
106 PLN
Zadania: zapraszanie rzeczywistych użytkowników z bazy nazw użytkowników do nowych czatów oraz wysyłanie wiadomości do docelowej bazy. Interesuje nas tylko jakościowy ruch i praca z żywą publicznością — wykonawców korzystających z botów, sztucznego zwiększania lub niskiej… Parsowanie danych, Promocja w sieciach społecznościowych (SMM) ∙ 1 dzień 10 godzin temu ∙ 6 ofert |
Zbieranie bazy danych B2B firm w Niemczech
149 PLN
Cel: Uzyskanie listy potencjalnych pracodawców (klientów) do wysyłki B2B. Region: Monachium (München) + promień 50 km. Wymagane nisze: Firmy budowlane (Bauunternehmen) Przemysł spożywczy (Lebensmittelhersteller, zakłady mięsne, piekarnie) Logistyka i kompleksy magazynowe… Parsowanie danych, Sprzedaż i generowanie leadów ∙ 1 dzień 12 godzin temu ∙ 27 ofert |
Baza danych przewoźnikówInteresuje mnie zbieranie bazy danych przewoźników w Ukrainie na rok 2026, w tym cysterny, plandeki, wozy zbożowe i inne. Preferowane jest opracowanie tabeli. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 1 dzień 14 godzin temu ∙ 30 ofert |
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 5 dni 5 godzin temu ∙ 12 ofert |
Potrzebny specjalista do wyszukiwania kontaktów decydentów w UkrainieKonieczne jest zebranie bazy (lub gotowej bazy) kontaktów osób podejmujących decyzje (LPR) w firmach Ukrainy. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 5 dni 10 godzin temu ∙ 18 ofert |