Вітаю.
Прочитали те що нижче, і впевнені що зможете усунути дану помилку, тоді відправлю вам 2 хв відео, без звуку, в ньому код для детального ознайомлення.
Задачка для того, хто мав досвід з Selenium, можливо і без нього.
Бо запити подаються, в гугл через selenium. Selenium відкриває сторінки гугл пошуку. 7 сторінок. На них, навіть вручну рахував 62 результати.
Функція яка обробляє і забирає потрібні дані. А це тупо url сайта.
І більше нічого. Забирає не всі дані. Url 62. А бере чомусь 52.
Слова програміста який намагався виправити цю помилку:
У вашому випадку є файл (gsearch... щось там, не запам'ятав), у ньому є функція, за допомогою якої виконується отримання посилань у пошуковику. Я додав там виведення логів, він працює справно, він відображає всі доступні посилання - в нашому випадку - всі 62 шт. В utils.py є функція get_google_search_results_alt(), в ній ми не зрозуміло чому отримуємо 56-57 шт., замість тих 62.
Проблема, як я побачив, була після переходу на другу сторінку (використання пагінації для переходу), на ній ми втрачаємо 4 посилання, і тому в підсумковому варіанті ми отримуємо 56-57 шт., хоча селеніум отримує їх усі.
Можливо, у функції get_google_search_results_alt є якесь обмеження або, можливо, він щось перевіряє і в підсумковому варіанті прибирає ці посилання, можливо, через формат посилання, можливо, через інші проблеми - я поки не зрозумів.
Логи за необхідності розробник сам зможе додати, це робиться не так важко.
Як що не впевнені що можете розв'язувати цю проблему. Тоді дозволяю спочатку під'єднатися до мого коду і подивитися. Як що впевнені, що розв'язувати дану проблему. Так і напишете мені. Тоді прийму вас в проєкт і внесу резерв коштів, у проєкт. Можу і відразу вас прийняти в проект, мене не принципіально.
