Python Selenium - Исправить ошибку
У нас есть парсер, написанный на Python Selenium. В работе также используется ротация Google Profiles.
В данный момент парсер работает на локальном компьютере и никаких нареканий нет. Всё работает отлично
Но у нас возникла необходимость запустить скрипт на сервере. И после того, как всё залили на сервер и пытаемся запустить скрипт там. То Хром или не грузится вообще. Или грузится с ошибкой.
https://drive.google.com/drive/u/3/folders/13YDCa5NRllFrQ7ObKGgPx9Kgf8QRSmz8
По ссылке можете посмотреть часть кода, отвечающую за запуск Хром с профилями.
И скрин ошибки
Кто знает как это решить - напишите
-
2 дня500 UAH
866 15 0 2 дня500 UAH
Здравствуйте.
Специализируюсь на python. Недавно делал проект на selenium. Дело в том, что на сервере нужно также установить драйвера Хрома. Вы сейчас пытаетесь использовать драйвер из локальной среды на сервере, поэтому возникает ошибка.
Предлагаю перенести скрипт на хостинг Heroku. Там есть все необходимые инструменты.
-
Добрый день есть 3 вопроса. 1) Сам хром на сервере стоит? 2) Драйвер селениум стоит? 3) Папка профиля на сервере есть?
-
Добрый день
1. Хром стоит
2. Хромдрайвер лежит в той же папке, что и скрипт
3. Профили у нас подтягиваются из основного хрома
-
Версии хрома и драйвера одинаковые? Ну это писали. Библиотеки переносили с помощью requirements.txt или устанавливали через пип?
-
Версии одинаковые
Библиотеки через пип ставили
У нас ситуация такая. Сервер у нас локальный. Мы даже для теста подключили к нему монитор.
И если через монитор запустить наш скрипт через терминал. Или через Visual Studio Code. То все работает
А когда мы вешаем скрипт на супервайзер. Вот тогда и перестает работать. Или висит или ошибка. Причем если отключить профили. То оно работает. А с профилями - нет
-
импорты:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from time import sleep
Запуск:
options = Options()
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)
-
То есть с монитором работает без не работает?( Или когда запускаете с сервера то работает. А когда через ssh то не работает? )
-
РАБОТАЕТ
- Если подключить к серверу монитор и запусить скрипт через VS Code
- Если подключить к серверу монитор, зайти в терминал и запустить скрипт через python3 script.py
НЕ РАБОТАЕТ
- Если подключить скрипт на supervisor
- Если через SSH
-
у вас все написано в ошибке - хромдрайвер по указанному адресу недоступен, так как вы указываете к нему путь (executable_path ...). В новой версии Селениума во-избежании таких ошибок установку драйвера сделали по-другому. Попробуйте сделать импорты и запуск драйвера как я вам написал выше. А строку где вы указываете путь к драйверу удалите
-
Может быть вы запускате файл не от имени администратора? Если через терминал и VS Code работает, а в остальных случаях нет
-
Через screen не пробовали?
-
Через screen - это как?
-
GNU Screen — свободная консольная утилита-мультиплексор, предоставляющая пользователю доступ к нескольким сессиям в рамках одной сессии. Это полезно для работы с несколькими программами из командной строки, а также для запуска программ на удаленном сервере.
-
Олег, кромк путь к драйверу еще нужно добввить путь к профилям
#provide location where chrome stores profiles
options.add_argument(r"--user-data-dir=/home/username/.config/google-chrome")
#provide the profile name with which we want to open browser
options.add_argument(r'--profile-directory=Profile 3')
-
Олег, кромк путь к драйверу еще нужно добввить путь к профилям
===
Олег, кроме путь к драйверу еще нужно добавить путь к профилям
😁
-
вот цю строку закоментуйте: option.add_argument(rf'user-data-dir={path}') -
Актуальные фриланс-проекты в категории Python
AI Commenting Platform для TikTok и Instagram.Цель проекта Разработать систему, которая позволяет управлять большим количеством аккаунтов TikTok и Instagram и автоматически публиковать релевантные комментарии под выбранными видео с использованием ИИ. Основной функционал1. Управление аккаунтами Необходимо реализовать… AI и машинное обучение, Python ∙ 16 часов 25 минут назад ∙ 13 ставок |
Построить модель классификации клиентов1. Есть данные клиентов в Mongo/SQL (примерно 20 000 записей с сырыми данными). 2. Необходимо на их основе построить фичи и модель классификации клиентов на поведенческие группы. 3. Проект выполнить на Python. AI и машинное обучение, Python ∙ 2 дня 10 часов назад ∙ 34 ставки |
ИТ Автоматизация ведения VAT-отчетности
10 000 UAH
Необходимо разработать систему для автоматизации переноса данных о продажах из CRM в бухгалтерскую систему Wafeq. Система должна импортировать банковские и платежные отчеты, автоматически сверять платежи с инвойсами, формировать инвойсы для VAT-отчетности и минимизировать ручную… AI и машинное обучение, Python ∙ 2 дня 16 часов назад ∙ 44 ставки |
Инструмент сверки счетов с банком, картами и бухгалтеромТехническое задание: инструмент сверки счетов с банком, картами и бухгалтеромОбщая цель Нужен локальный инструмент (скрипт/небольшое приложение на Python), который запускается вручную раз в 1-2 месяца на моём компьютере и делает сверку между: Счетами, которые я выставил клиентам… Python, Десктопные приложения ∙ 3 дня 4 часа назад ∙ 42 ставки |
Автоматическая публикация видео в социальные сети по расписаниюТехническое задание (ТЗ) Автоматическая публикация видео в социальные сети по расписаниюОписание проекта Нужен скрипт/бот (Python предпочтительно, либо любое другое решение на ваш выбор — главное стабильность и простота поддержки), который автоматически публикует видео из папки… Python, Разработка ботов ∙ 3 дня 16 часов назад ∙ 59 ставок |
Запорожье