Виявити і усунути помилку. Программа на python + selenium
Вітаю.
Прочитали те що нижче, і впевнені що зможете усунути дану помилку, тоді відправлю вам 2 хв відео, без звуку, в ньому код для детального ознайомлення.
Задачка для того, хто мав досвід з Selenium, можливо і без нього.
Бо запити подаються, в гугл через selenium. Selenium відкриває сторінки гугл пошуку. 7 сторінок. На них, навіть вручну рахував 62 результати.
Функція яка обробляє і забирає потрібні дані. А це тупо url сайта.
І більше нічого. Забирає не всі дані. Url 62. А бере чомусь 52.
Слова програміста який намагався виправити цю помилку:
У вашому випадку є файл (gsearch... щось там, не запам'ятав), у ньому є функція, за допомогою якої виконується отримання посилань у пошуковику. Я додав там виведення логів, він працює справно, він відображає всі доступні посилання - в нашому випадку - всі 62 шт. В utils.py є функція get_google_search_results_alt(), в ній ми не зрозуміло чому отримуємо 56-57 шт., замість тих 62.
Проблема, як я побачив, була після переходу на другу сторінку (використання пагінації для переходу), на ній ми втрачаємо 4 посилання, і тому в підсумковому варіанті ми отримуємо 56-57 шт., хоча селеніум отримує їх усі.
Можливо, у функції get_google_search_results_alt є якесь обмеження або, можливо, він щось перевіряє і в підсумковому варіанті прибирає ці посилання, можливо, через формат посилання, можливо, через інші проблеми - я поки не зрозумів.
Логи за необхідності розробник сам зможе додати, це робиться не так важко.
Як що не впевнені що можете розв'язувати цю проблему. Тоді дозволяю спочатку під'єднатися до мого коду і подивитися. Як що впевнені, що розв'язувати дану проблему. Так і напишете мені. Тоді прийму вас в проєкт і внесу резерв коштів, у проєкт. Можу і відразу вас прийняти в проект, мене не принципіально.
-
3631 17 0 Вітаю✋,
Маю досвід роботи з Selenium та веб-скрапінгом.
Ознайомившись із вашим описом, зможу виявити і усунути проблему з неповним отриманням URL-адрес під час переходу по сторінках Google-пошуку.
Готовий переглянути ваш код або відразу почати працювати над вирішенням задачі.
Дякую за можливість, буду радий допомогти!
… З повагою,
Андрій!)
-
759 3 1 Доброго вечора. Готовий взятись за Ваше замовлення, проблема зрозуміла. Маю великий досвід роботи з Selenium та парсингу. Буду радий співпраці!
-
289 Привіт
можу спробувати подивитися і постаратися знайти рішення проблеми
-
покажите код.
-
Актуальні фриланс-проєкти в категорії Python
Потрібно розробити backend для сайту
8000 UAH
Потрібно розробити backend для сайту, фронтенд вже зроблений у Lovable.dev. Функціонал: Система ліцензій Що повинно працювати: Я створюю (або видаю після оплати) ліцензійний ключ користувачу. Користувач активує ліцензію на сайтi. Ліцензія прив'язується до пристрою… Python, Веб-програмування ∙ 1 година 33 хвилини тому ∙ 58 ставок |
AI Коментуюча Платформа для TikTok та Instagram.Мета проекту Розробити систему, яка дозволяє керувати великою кількістю акаунтів TikTok та Instagram і автоматично публікувати релевантні коментарі під вибраними відео з використанням ШІ. Основний функціонал1. Управління акаунтами Необхідно реалізувати можливість підключення… AI та машинне навчання, Python ∙ 23 години 48 хвилин тому ∙ 16 ставок |
Побудувути модель калсифікації клієнтів1. Є дані клієнтів в Mongo/SQL (приблизно 20 000 заисів із сирими даними). 2. Необхідно на їх основі побудувати фічі та модель класифікації клієнтв на поведінкові групи. 3. Проект виконати на Python. AI та машинне навчання, Python ∙ 2 дні 18 годин тому ∙ 36 ставок |
ІТ Автоматизація ведення VAT- звітності
10 000 UAH
Необхідно розробити систему для автоматизації перенесення даних про продажі з CRM у бухгалтерську систему Wafeq. Система має імпортувати банківські та платіжні звіти, автоматично звіряти платежі з інвойсами, формувати інвойси для VAT-звітності та мінімізувати ручну роботу.… AI та машинне навчання, Python ∙ 2 дні 23 години тому ∙ 46 ставок |
Інструмент звірки рахунків з банком, картами та бухгалтеромТехнічне завдання: інструмент звірки рахунків з банком, картами та бухгалтеромЗагальна метаПотрібен локальний інструмент (скрипт/невеликий додаток на Python), який запускається вручну раз на 1-2 місяці на моєму комп'ютері і робить звірку між:Рахунками, які я виставив клієнтам і… Python, Десктопні додатки ∙ 3 дні 11 годин тому ∙ 43 ставки |