Парсинг страниц на Python
3500 UAHНужно сделать сервис который будет регулярно раз в неделю скачивать и сохранять в базу определенные страницы с амазона.
Сервис должен стоять на Linux VPS, база данных mysql or postgres. Скачивать каждую страницу нужно с интервалом в несколько минут.
Этапы работы. Работа будет считаться завершенной когда по все этапам будет финализирована работа:
Нужно сделать сервис который будет регулярно раз в неделю скачивать и сохранять в базу определенные страницы с амазона.
Сервис должен стоять на Linux VPS, база данных mysql or postgres. Скачивать каждую страницу нужно с интервалом 5-15 минут.
Этапы работы. Работа будет считаться завершенной когда по все этапам будет финализирована работа:
1 Выдача рекомендаций на покупку VPS с хорошей цена/качество.
2. Настроить VPS и Установить/настроить докер и вся работа будет вестись внутри докера
3 Установка Базы и всего необходимого на докере. Структура базы примерно выглядит так – номер записи, дата и время скачивания, размер файла, код товара, ссылка на товар, исходный код страницы
4 Разработка непосредственно скрипта
5 Разработка клиента в котором можно производить настройку это веб клиент, или описание как менять код по ssh
6 Деплой
7 Передача кода и настроек и инструкции/документация по работе и изменения продукта
8 Проверка устойчивости работы приложения, т.е. в течении двух недель должно быть скачено не менее 2000 страниц отзывов.
9 Расходы на Прокси или IP или подобные вещи для обхода блокировок не дороже чем 10 долл в месяц
Код на амазон идет по ссылке https://www.amazon.com/product-reviews/B07QFV9ZNC/, последние цифры, это ASIN товара. Я передам весь список асинов запросов когда будет готов код, а пока для теста – вот эти Асины B07Z64HQ1L, B07HRR4L5R, B01L8050AA, B00OAXPU5I, B07BMR1M5J
Обратите внимание что отзывы могут быть на нескольких страницах и нам парсинг нужен со всех страниц – это например вторая страница для отзывов на этот товар - https://www.amazon.com/product-reviews/B07QFV9ZNC/ref=cm_cr_arp_d_paging_btm_next_2?pageNumber=2
После того как проект будет завершен есть несколько подобных заказов. Например детально распарсить страницу и завести все данные в БД.
Рассмотрю заявки только с ссылкой на портфолио. И с оценкой времени и цены за работу
Отзыв заказчика о сотрудничестве с Сергеем Пасиногой
Парсинг страниц на PythonОтлично решен вопрос, сложная задача решена
Отзыв фрилансера о сотрудничестве с Valentin L
Парсинг страниц на PythonСотрудничеством доволен!
Задача была поставлена понятно, без подводных камней.
Общение проходило гладко, без каких либо недопониманий.
Рекомендую к сотрудничеству.
-
Победившая ставка14 дней3500 UAH
Победившая ставка14 дней3500 UAH
Валентин, добрый день!
С Амазон уже работал, в том числи с отзывами о товаре.
Так же имеются уже готовые системы по работе с прокси, обходе блокировки и тд.
Одних прокси там не достаточно, необходима ещё правильная работа с куками и юзер агентами.
Я готов вам помочь по любым вопросам в этом проекте, обращайтесь.
-
21 день10 000 UAH
2267 73 4 4 21 день10 000 UAH
Здравствуйте проект объемный, если вам интересует качество и нежелание тратить время, а нужно решение. Пишите.
-
Обязательно на Python?
-
Valentin L Profitpalm Agency
Сам работаю на Питоне, поэтому и исполнение через
-
Актуальные фриланс-проекты в категории Python
Рассылка по группам
1500 UAH
Нужен софт который будет подключаться к телеграмм сессии, будет заходить в телеграмм группы и отправлять сообщения которое ему скажут Python, Разработка ботов ∙ 9 часов 17 минут назад ∙ 18 ставок |
Построить модель классификации клиентов1. Есть данные клиентов в Mongo/SQL (примерно 20 000 записей с сырыми данными). 2. Необходимо на их основе построить фичи и модель классификации клиентов на поведенческие группы. 3. Проект выполнить на Python. AI и машинное обучение, Python ∙ 1 день 12 часов назад ∙ 30 ставок |
ИТ Автоматизация ведения VAT-отчетности
10 000 UAH
Необходимо разработать систему для автоматизации переноса данных о продажах из CRM в бухгалтерскую систему Wafeq. Система должна импортировать банковские и платежные отчеты, автоматически сверять платежи с инвойсами, формировать инвойсы для VAT-отчетности и минимизировать ручную… AI и машинное обучение, Python ∙ 1 день 17 часов назад ∙ 39 ставок |
Инструмент сверки счетов с банком, картами и бухгалтеромТехническое задание: инструмент сверки счетов с банком, картами и бухгалтеромОбщая цель Нужен локальный инструмент (скрипт/небольшое приложение на Python), который запускается вручную раз в 1-2 месяца на моём компьютере и делает сверку между: Счетами, которые я выставил клиентам… Python, Десктопные приложения ∙ 2 дня 5 часов назад ∙ 39 ставок |
Автоматическая публикация видео в социальные сети по расписаниюТехническое задание (ТЗ) Автоматическая публикация видео в социальные сети по расписаниюОписание проекта Нужен скрипт/бот (Python предпочтительно, либо любое другое решение на ваш выбор — главное стабильность и простота поддержки), который автоматически публикует видео из папки… Python, Разработка ботов ∙ 2 дня 17 часов назад ∙ 58 ставок |
Киев