Изменение парсеров - Python
1061 UAH
Здравствуйте.
Есть парсеры сайтов rebuy.de и momox.de используя АПИ, написанные на Python.
Они сделаны 1 год назад. Парсили в xls файл.
Задачи:
1. Проверить работоспособность сайтов и если они не работают - исправить ошибки и привести в рабочее состояние.
2. Изменить на парсинг в БД MySQL вместо ексель файла. Структуру БД предоставлю.
Главная цель - достичь скорости парсинга 400-500 товаров/минута на обоих сайтах при стоимости прокси не более 50$/месяц.
Сейчас используются Backconnect Rotating proxies(40 потоков), раньше на них парсеры давали требуемую скорость.
Приложения 1
Отзыв заказчика о сотрудничестве с Владимиром Назаровым
Изменение парсеров - PythonОчень рад сотрудничеству! Задача выполнена согласно моему ТЗ в полном объёме. Была задержка по времени, но исполнитель всегда был на связи и вносил правки по первому требованию. Рекомендую! Обязательно буду работать в дальнейшем!
Отзыв фрилансера о сотрудничестве с Олександром Л.
Изменение парсеров - PythonХороший заказчик, объяснял и помогал во время процесса разработки.
-
Победившая ставка2 дня1061 UAH
555 35 1 3 Победившая ставка2 дня1061 UAH
Привет, готов проверить api сайтов, Провести тесты, выяснить почему причину медленной скорости и решить ее.
-
3 дня2700 UAH
114 11 1 3 дня2700 UAH
То чувство, когда годно написан код. Возможно обновить прокси надо, это то что бросается в глаза первым. Пишите обсудим сроки.
-
scrapy использовать критично?
-
Нет, главная задача достичь скорости парсинга 400-500 товаров в минуту.
-
мощности сервера?
-
Напишите требуемую
-
Сейчас это Убунту сервер, 4CORES, 12GB RAM
-
Актуальные фриланс-проекты в категории Python
Специалист по Excel / автоматизации процессов (Excel + желательно программирование)Ищем специалиста с ПРОДВИНУТЫМИ знаниями Excel для оптимизации существующего файла и автоматизации процессов. Будет большим преимуществом, если вы также имеете навыки программирования / VBA / Power Query / Power Automate или опыт создания сложной логики в Excel. Задачи проекта… Python, Базы данных и SQL ∙ 1 час 59 минут назад ∙ 17 ставок |
Автоматизация процессоів через API и PhytonНиже описал текущий процесс и то, к какому результату хотелось бы прийти. Также прикладіваю файлы реалтного процесса чтобы лучше понять как он выглядит в ревльности Текущий процесс Сейчас весь процесс выполняется вручную: загрузка/выгрузка файлов, перенос данных между… AI и машинное обучение, Python ∙ 3 часа 4 секунды назад ∙ 25 ставок |
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 15 часов 46 минут назад ∙ 71 ставка |
Парсинг и классификация большого массива изображенийНеобходимо реализовать проект по сбору и структурированию большого массива архитектурных изображений из открытых веб-источников.Задача включает: автоматизированный сбор изображений; загрузка файлов в максимально доступном качестве; классификацию изображений по категориям:… Python, Парсинг данных ∙ 22 часа 46 минут назад ∙ 30 ставок |
Бизнес-логикa платформы: подтверждение занятий, контроль посещаемости-и история уроков (DjangoДоработка бизнес-логики образовательной платформы: подтверждение занятий, контроль посещаемости и история уроков (Django + React) Необходимо реализовать полноценную систему подтверждения уроков, контроля посещаемости и хранения истории подтверждений. Важно Перед началом… Python ∙ 3 дня 3 часа назад ∙ 29 ставок |
Харьков