Парсинг страниц на Python
3500 UAHНужно сделать сервис который будет регулярно раз в неделю скачивать и сохранять в базу определенные страницы с амазона.
Сервис должен стоять на Linux VPS, база данных mysql or postgres. Скачивать каждую страницу нужно с интервалом в несколько минут.
Этапы работы. Работа будет считаться завершенной когда по все этапам будет финализирована работа:
Нужно сделать сервис который будет регулярно раз в неделю скачивать и сохранять в базу определенные страницы с амазона.
Сервис должен стоять на Linux VPS, база данных mysql or postgres. Скачивать каждую страницу нужно с интервалом 5-15 минут.
Этапы работы. Работа будет считаться завершенной когда по все этапам будет финализирована работа:
1 Выдача рекомендаций на покупку VPS с хорошей цена/качество.
2. Настроить VPS и Установить/настроить докер и вся работа будет вестись внутри докера
3 Установка Базы и всего необходимого на докере. Структура базы примерно выглядит так – номер записи, дата и время скачивания, размер файла, код товара, ссылка на товар, исходный код страницы
4 Разработка непосредственно скрипта
5 Разработка клиента в котором можно производить настройку это веб клиент, или описание как менять код по ssh
6 Деплой
7 Передача кода и настроек и инструкции/документация по работе и изменения продукта
8 Проверка устойчивости работы приложения, т.е. в течении двух недель должно быть скачено не менее 2000 страниц отзывов.
9 Расходы на Прокси или IP или подобные вещи для обхода блокировок не дороже чем 10 долл в месяц
Код на амазон идет по ссылке https://www.amazon.com/product-reviews/B07QFV9ZNC/, последние цифры, это ASIN товара. Я передам весь список асинов запросов когда будет готов код, а пока для теста – вот эти Асины B07Z64HQ1L, B07HRR4L5R, B01L8050AA, B00OAXPU5I, B07BMR1M5J
Обратите внимание что отзывы могут быть на нескольких страницах и нам парсинг нужен со всех страниц – это например вторая страница для отзывов на этот товар - https://www.amazon.com/product-reviews/B07QFV9ZNC/ref=cm_cr_arp_d_paging_btm_next_2?pageNumber=2
После того как проект будет завершен есть несколько подобных заказов. Например детально распарсить страницу и завести все данные в БД.
Рассмотрю заявки только с ссылкой на портфолио. И с оценкой времени и цены за работу
Отзыв заказчика о сотрудничестве с Сергеем Пасиногой
Парсинг страниц на PythonОтлично решен вопрос, сложная задача решена
Отзыв фрилансера о сотрудничестве с Valentin L
Парсинг страниц на PythonСотрудничеством доволен!
Задача была поставлена понятно, без подводных камней.
Общение проходило гладко, без каких либо недопониманий.
Рекомендую к сотрудничеству.
-
Валентин, добрый день!
С Амазон уже работал, в том числи с отзывами о товаре.
Так же имеются уже готовые системы по работе с прокси, обходе блокировки и тд.
Одних прокси там не достаточно, необходима ещё правильная работа с куками и юзер агентами.
Я готов вам помочь по любым вопросам в этом проекте, обращайтесь.
-
2267 73 4 4 Здравствуйте проект объемный, если вам интересует качество и нежелание тратить время, а нужно решение. Пишите.
-
Обязательно на Python?
-
Valentin L Profitpalm Agency
Сам работаю на Питоне, поэтому и исполнение через
-
Актуальные фриланс-проекты в категории Python
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 5 часов 47 минут назад ∙ 57 ставок |
Python / Network Engineer: Сетевая оптимизация бота (WAF, Connection Pooling, Asyncio)Упрощенный вариант! Прошу откликнуться только тех, кто понимает и разбирается. О проекте: Автоматизированный бот для снайпинга. Базовая бизнес-логика (парсинг, авторизация, сборка JSON/XML пакетов) уже готова и работает на Python. Целевое окружение — Linux (Ubuntu). Текущая… Python, Парсинг данных ∙ 8 часов 16 минут назад ∙ 14 ставок |
Парсинг и классификация большого массива изображенийНеобходимо реализовать проект по сбору и структурированию большого массива архитектурных изображений из открытых веб-источников.Задача включает: автоматизированный сбор изображений; загрузка файлов в максимально доступном качестве; классификацию изображений по категориям:… Python, Парсинг данных ∙ 12 часов 47 минут назад ∙ 29 ставок |
Бизнес-логикa платформы: подтверждение занятий, контроль посещаемости-и история уроков (DjangoДоработка бизнес-логики образовательной платформы: подтверждение занятий, контроль посещаемости и история уроков (Django + React) Необходимо реализовать полноценную систему подтверждения уроков, контроля посещаемости и хранения истории подтверждений. Важно Перед началом… Python ∙ 2 дня 17 часов назад ∙ 29 ставок |
Доработка административной панели образовательной платформы (Django + React)Доработка административной панели образовательной платформы (Django + React) Описание проекта: Есть действующая образовательная платформа (marketplace, аналог Preply), разработанная на Django + React. Требуется доработать существующую административную панель и реализовать… Python, Веб-программирование ∙ 4 дня 15 часов назад ∙ 58 ставок |