Парсер сайта
Нужен скрипт, который будет запускаться через консоль, с входящими параметрами:
1. УРЛ (http/https)
2. метод (GET, POST, PUT и т.д)
3. параметры для запроса (если есть) например: var1=1&var2=2 или массивом (как будет удобнее).
4. Ключевая фраза/слово или ссылка которую нужно будет найти на заданной странице
5. Настройки для подключения к прокси
Должно работать с использованием селениум. Браузер гугл хром.
В результате необходимо вернуть следующее:
1. Ключевое слово/фраза или ссылка найдено или не найдено
2. Все заголовки ответов от сервера (если были редиректы то заголовки до редиректа и заголовки после редиректа).
3. HAR-файл с полным дампом всего результата проверки. HAR-файл нужно сохранять на диск. Название рандомное. Все остальные данные нужно сохранять в таблицу в БД Mysql. в json формате
версия Python 3.10
-
1673 100 5 3 Добрый вечер. Интересный проект. Пишите, Буду рад сотрудничать с Вами!
-
97 Могу попробовать реализовать. Довольно хорошо разбираюсь в парсинге, вплоть до создания асинхронных парсеров (можете убедиться в этом по ссылке в описании на StackOverflow по вопросам/ответам). Последний большой проект начислял 7 асинхронных парсеров и работа с БД MySQL с 10 млн записей.
В основном работал напрямую с requests/aiohttp, а вот с selenium последний раз работал около года назад, но вспомнить, думаю не составит труда. Есть еще несколько вопросов, особенно по капче на сайте, какие стоит парсить сайты, и бд mysql но задача ясна, уже накидал в голове примерный алгоритм работы.
По времени: до 3 дней (думаю справлюсь быстрее, но беру с запасом)
По цене 2000-3000 грн, в зависимости от детального ТЗ.
Актуальные фриланс-проекты в категории Python
Рассылка по группам
1500 UAH
Нужен софт который будет подключаться к телеграмм сессии, будет заходить в телеграмм группы и отправлять сообщения которое ему скажут Python, Разработка ботов ∙ 10 часов 4 минуты назад ∙ 20 ставок |
Построить модель классификации клиентов1. Есть данные клиентов в Mongo/SQL (примерно 20 000 записей с сырыми данными). 2. Необходимо на их основе построить фичи и модель классификации клиентов на поведенческие группы. 3. Проект выполнить на Python. AI и машинное обучение, Python ∙ 1 день 13 часов назад ∙ 30 ставок |
ИТ Автоматизация ведения VAT-отчетности
10 000 UAH
Необходимо разработать систему для автоматизации переноса данных о продажах из CRM в бухгалтерскую систему Wafeq. Система должна импортировать банковские и платежные отчеты, автоматически сверять платежи с инвойсами, формировать инвойсы для VAT-отчетности и минимизировать ручную… AI и машинное обучение, Python ∙ 1 день 18 часов назад ∙ 40 ставок |
Инструмент сверки счетов с банком, картами и бухгалтеромТехническое задание: инструмент сверки счетов с банком, картами и бухгалтеромОбщая цель Нужен локальный инструмент (скрипт/небольшое приложение на Python), который запускается вручную раз в 1-2 месяца на моём компьютере и делает сверку между: Счетами, которые я выставил клиентам… Python, Десктопные приложения ∙ 2 дня 6 часов назад ∙ 39 ставок |
Автоматическая публикация видео в социальные сети по расписаниюТехническое задание (ТЗ) Автоматическая публикация видео в социальные сети по расписаниюОписание проекта Нужен скрипт/бот (Python предпочтительно, либо любое другое решение на ваш выбор — главное стабильность и простота поддержки), который автоматически публикует видео из папки… Python, Разработка ботов ∙ 2 дня 18 часов назад ∙ 58 ставок |