Обнаружить и устранить ошибку. Программа на python + selenium
Здравствуйте.
Прочитали то, что ниже, и уверены, что сможете устранить данную ошибку, тогда отправлю вам 2 минуты видео, без звука, в нем код для детального ознакомления.
Задача для того, кто имел опыт с Selenium, возможно и без него.
Потому что запросы отправляются в гугл через selenium. Selenium открывает страницы гугл поиска. 7 страниц. На них, даже вручную считал 62 результата.
Функция, которая обрабатывает и забирает нужные данные. А это тупо url сайта.
И больше ничего. Забирает не все данные. Url 62. А берет почему-то 52.
Слова программиста, который пытался исправить эту ошибку:
В вашем случае есть файл (gsearch... что-то там, не запомнил), в нем есть функция, с помощью которой выполняется получение ссылок в поисковике. Я добавил там вывод логов, он работает исправно, он отображает все доступные ссылки - в нашем случае - все 62 шт. В utils.py есть функция get_google_search_results_alt(), в ней мы не понимаем, почему получаем 56-57 шт., вместо тех 62.
Проблема, как я увидел, была после перехода на вторую страницу (использование пагинации для перехода), на ней мы теряем 4 ссылки, и поэтому в итоговом варианте мы получаем 56-57 шт., хотя selenium получает их все.
Возможно, в функции get_google_search_results_alt есть какое-то ограничение или, возможно, он что-то проверяет и в итоговом варианте убирает эти ссылки, возможно, из-за формата ссылки, возможно, из-за других проблем - я пока не понял.
Логи при необходимости разработчик сам сможет добавить, это делается не так сложно.
Если не уверены, что можете решить эту проблему. Тогда разрешаю сначала подключиться к моему коду и посмотреть. Если уверены, что решать данную проблему. Так и напишите мне. Тогда приму вас в проект и внесу резерв средств, в проект. Могу и сразу вас принять в проект, мне не принципиально.
-
3644 17 0 Здравствуйте✋,
У меня есть опыт работы с Selenium и веб-скрапингом.
Изучив ваше описание, я смогу выявить и устранить проблему с неполучением URL-адресов при переходе по страницам Google-поиска.
Готов просмотреть ваш код или сразу начать работать над решением задачи.
Спасибо за возможность, буду рад помочь!
… С уважением,
Андрей!)
-
759 3 1 Добрый вечер. Готов взяться за Ваш заказ, проблема понятна. Имею большой опыт работы с Selenium и парсингом. Буду рад сотрудничеству!
-
289 Здравствуйте
могу попробовать посмотреть и постараться найти решение проблемы
-
покажите код.
-
Актуальные фриланс-проекты в категории Python
Ищем разработчика для создания торгового бота/чат-ботаИщем разработчика для создания торгового бота / чат-бота. Нужен IT-специалист, который сможет разработать бота для анализа рынка 24/7 и отправки торговых сигналов по золоту, индексам, Bitcoin и Forex-парам. Главное требование - специалист должен разбираться в трейдинге,… Python, Разработка ботов ∙ 2 часа 19 минут назад ∙ 22 ставки |
~5 микросервисов на FastAPI + правки и рефакторинг
15 682 UAH
Есть проект состоящий примерно из ~11 микросервисов на FastAPI с интеграциями, который более, чем на половину готов. Задача доделать остальные ~5 микросервисов (более конкретно - subscription/billing и интеграция с Revenuecat, abuse protection для биллинга, Notifications,… Python, Веб-программирование ∙ 7 часов 39 минут назад ∙ 27 ставок |
Power BI
700 UAH
Дашборд работает на гугл сервере, нужно перенести всю логику+код Какие нужны скиллы: развертывание etl процессов на linux сервере + работа с BigQuery и Postgre Есть рабочий код, который работает на google, где есть сама БД, нужно перенести на другой сервер, возможно переписать… Python, Базы данных и SQL ∙ 1 день 13 часов назад ∙ 15 ставок |
Телеграм-бот для найма/поиска работников. Для поиска работы
1100 UAH
1. Общая концепция Создание Telegram-бота для автоматизации подбора персонала и двустороннего поиска работы. Система работает по принципу активного отклика и взаимного подтверждения интереса (Double Opt-In). В системе предусмотрены две роли: Работодатель (Владелец фирмы) и… Python, Разработка ботов ∙ 2 дня 21 час назад ∙ 93 ставки |
Техническая поддержка веб-платформы (Python/Django)Есть работающий веб-проект, нужно поддерживать и постепенно приводить в порядок, без переписывания с нуля. Стек проекта: Backend: Python, Django, Django Rest Framework Frontend: Next.js База данных: PostgreSQL Инфраструктура: AWS (EC2), Nginx Есть интеграции с внешними API… Python, Веб-программирование ∙ 2 дня 23 часа назад ∙ 73 ставки |