Python Selenium - Исправить ошибку
У нас есть парсер, написанный на Python Selenium. В работе также используется ротация Google Profiles.
В данный момент парсер работает на локальном компьютере и никаких нареканий нет. Всё работает отлично
Но у нас возникла необходимость запустить скрипт на сервере. И после того, как всё залили на сервер и пытаемся запустить скрипт там. То Хром или не грузится вообще. Или грузится с ошибкой.
https://drive.google.com/drive/u/3/folders/13YDCa5NRllFrQ7ObKGgPx9Kgf8QRSmz8
По ссылке можете посмотреть часть кода, отвечающую за запуск Хром с профилями.
И скрин ошибки
Кто знает как это решить - напишите
-
2 дня500 UAH
866 15 0 2 дня500 UAH
Здравствуйте.
Специализируюсь на python. Недавно делал проект на selenium. Дело в том, что на сервере нужно также установить драйвера Хрома. Вы сейчас пытаетесь использовать драйвер из локальной среды на сервере, поэтому возникает ошибка.
Предлагаю перенести скрипт на хостинг Heroku. Там есть все необходимые инструменты.
-
Добрый день есть 3 вопроса. 1) Сам хром на сервере стоит? 2) Драйвер селениум стоит? 3) Папка профиля на сервере есть?
-
Добрый день
1. Хром стоит
2. Хромдрайвер лежит в той же папке, что и скрипт
3. Профили у нас подтягиваются из основного хрома
-
Версии хрома и драйвера одинаковые? Ну это писали. Библиотеки переносили с помощью requirements.txt или устанавливали через пип?
-
Версии одинаковые
Библиотеки через пип ставили
У нас ситуация такая. Сервер у нас локальный. Мы даже для теста подключили к нему монитор.
И если через монитор запустить наш скрипт через терминал. Или через Visual Studio Code. То все работает
А когда мы вешаем скрипт на супервайзер. Вот тогда и перестает работать. Или висит или ошибка. Причем если отключить профили. То оно работает. А с профилями - нет
-
импорты:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from time import sleep
Запуск:
options = Options()
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)
-
То есть с монитором работает без не работает?( Или когда запускаете с сервера то работает. А когда через ssh то не работает? )
-
РАБОТАЕТ
- Если подключить к серверу монитор и запусить скрипт через VS Code
- Если подключить к серверу монитор, зайти в терминал и запустить скрипт через python3 script.py
НЕ РАБОТАЕТ
- Если подключить скрипт на supervisor
- Если через SSH
-
у вас все написано в ошибке - хромдрайвер по указанному адресу недоступен, так как вы указываете к нему путь (executable_path ...). В новой версии Селениума во-избежании таких ошибок установку драйвера сделали по-другому. Попробуйте сделать импорты и запуск драйвера как я вам написал выше. А строку где вы указываете путь к драйверу удалите
-
Может быть вы запускате файл не от имени администратора? Если через терминал и VS Code работает, а в остальных случаях нет
-
Через screen не пробовали?
-
Через screen - это как?
-
GNU Screen — свободная консольная утилита-мультиплексор, предоставляющая пользователю доступ к нескольким сессиям в рамках одной сессии. Это полезно для работы с несколькими программами из командной строки, а также для запуска программ на удаленном сервере.
-
Олег, кромк путь к драйверу еще нужно добввить путь к профилям
#provide location where chrome stores profiles
options.add_argument(r"--user-data-dir=/home/username/.config/google-chrome")
#provide the profile name with which we want to open browser
options.add_argument(r'--profile-directory=Profile 3')
-
Олег, кромк путь к драйверу еще нужно добввить путь к профилям
===
Олег, кроме путь к драйверу еще нужно добавить путь к профилям
😁
-
вот цю строку закоментуйте: option.add_argument(rf'user-data-dir={path}') -
Актуальные фриланс-проекты в категории Python
Автоматизация процессоів через API и PhytonНиже описал текущий процесс и то, к какому результату хотелось бы прийти. Также прикладіваю файлы реалтного процесса чтобы лучше понять как он выглядит в ревльности Текущий процесс Сейчас весь процесс выполняется вручную: загрузка/выгрузка файлов, перенос данных между… AI и машинное обучение, Python ∙ 42 минуты назад ∙ 12 ставок |
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 13 часов 29 минут назад ∙ 66 ставок |
Парсинг и классификация большого массива изображенийНеобходимо реализовать проект по сбору и структурированию большого массива архитектурных изображений из открытых веб-источников.Задача включает: автоматизированный сбор изображений; загрузка файлов в максимально доступном качестве; классификацию изображений по категориям:… Python, Парсинг данных ∙ 20 часов 29 минут назад ∙ 30 ставок |
Бизнес-логикa платформы: подтверждение занятий, контроль посещаемости-и история уроков (DjangoДоработка бизнес-логики образовательной платформы: подтверждение занятий, контроль посещаемости и история уроков (Django + React) Необходимо реализовать полноценную систему подтверждения уроков, контроля посещаемости и хранения истории подтверждений. Важно Перед началом… Python ∙ 3 дня 1 час назад ∙ 29 ставок |
Доработка административной панели образовательной платформы (Django + React)Доработка административной панели образовательной платформы (Django + React) Описание проекта: Есть действующая образовательная платформа (marketplace, аналог Preply), разработанная на Django + React. Требуется доработать существующую административную панель и реализовать… Python, Веб-программирование ∙ 4 дня 22 часа назад ∙ 58 ставок |
Запорожье