Парсер сайта
Нужен скрипт, который будет запускаться через консоль, с входящими параметрами:
1. УРЛ (http/https)
2. метод (GET, POST, PUT и т.д)
3. параметры для запроса (если есть) например: var1=1&var2=2 или массивом (как будет удобнее).
4. Ключевая фраза/слово или ссылка которую нужно будет найти на заданной странице
5. Настройки для подключения к прокси
Должно работать с использованием селениум. Браузер гугл хром.
В результате необходимо вернуть следующее:
1. Ключевое слово/фраза или ссылка найдено или не найдено
2. Все заголовки ответов от сервера (если были редиректы то заголовки до редиректа и заголовки после редиректа).
3. HAR-файл с полным дампом всего результата проверки. HAR-файл нужно сохранять на диск. Название рандомное. Все остальные данные нужно сохранять в таблицу в БД Mysql. в json формате
версия Python 3.10
-
3 дня3000 UAH
1664 100 5 3 3 дня3000 UAH
Добрый вечер. Интересный проект. Пишите, Буду рад сотрудничать с Вами!
-
3 дня2500 UAH
97 3 дня2500 UAH
Могу попробовать реализовать. Довольно хорошо разбираюсь в парсинге, вплоть до создания асинхронных парсеров (можете убедиться в этом по ссылке в описании на StackOverflow по вопросам/ответам). Последний большой проект начислял 7 асинхронных парсеров и работа с БД MySQL с 10 млн записей.
В основном работал напрямую с requests/aiohttp, а вот с selenium последний раз работал около года назад, но вспомнить, думаю не составит труда. Есть еще несколько вопросов, особенно по капче на сайте, какие стоит парсить сайты, и бд mysql но задача ясна, уже накидал в голове примерный алгоритм работы.
По времени: до 3 дней (думаю справлюсь быстрее, но беру с запасом)
По цене 2000-3000 грн, в зависимости от детального ТЗ.
-
5 дней4000 UAH
698 16 0 5 дней4000 UAH
Здравствуйте! У меня есть опыт парсинга разных сайтов на Python. Заинтересовал ваш проект. Пишите в ЛС, обсудим.
-
6 дней5000 UAH
1970 45 3 1 6 дней5000 UAH
Напишу на python нужные функции.
Cделаю все качественно и всегда нахожусь на связи. Буду рад сотрудничеству с вами!
Актуальные фриланс-проекты в категории Python
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 9 часов 3 минуты назад ∙ 61 ставка |
Python / Network Engineer: Сетевая оптимизация бота (WAF, Connection Pooling, Asyncio)Упрощенный вариант! Прошу откликнуться только тех, кто понимает и разбирается. О проекте: Автоматизированный бот для снайпинга. Базовая бизнес-логика (парсинг, авторизация, сборка JSON/XML пакетов) уже готова и работает на Python. Целевое окружение — Linux (Ubuntu). Текущая… Python, Парсинг данных ∙ 11 часов 33 минуты назад ∙ 14 ставок |
Парсинг и классификация большого массива изображенийНеобходимо реализовать проект по сбору и структурированию большого массива архитектурных изображений из открытых веб-источников.Задача включает: автоматизированный сбор изображений; загрузка файлов в максимально доступном качестве; классификацию изображений по категориям:… Python, Парсинг данных ∙ 16 часов 3 минуты назад ∙ 30 ставок |
Бизнес-логикa платформы: подтверждение занятий, контроль посещаемости-и история уроков (DjangoДоработка бизнес-логики образовательной платформы: подтверждение занятий, контроль посещаемости и история уроков (Django + React) Необходимо реализовать полноценную систему подтверждения уроков, контроля посещаемости и хранения истории подтверждений. Важно Перед началом… Python ∙ 2 дня 21 час назад ∙ 29 ставок |
Доработка административной панели образовательной платформы (Django + React)Доработка административной панели образовательной платформы (Django + React) Описание проекта: Есть действующая образовательная платформа (marketplace, аналог Preply), разработанная на Django + React. Требуется доработать существующую административную панель и реализовать… Python, Веб-программирование ∙ 4 дня 18 часов назад ∙ 58 ставок |
Украина