Парсинг выдачи до 5 страницы
2500 UAHНужно сделать сервис который будет регулярно раз в неделю скачивать и сохранять в базу определенные страницы с амазона.
Сервис должен стоять на Linux VPS, база данных mysql or postgres. Скачивать каждую страницу нужно с интервалом 5-15 минут.
Этапы работы. Работа будет считаться завершенной когда по все этапам будет финализирована работа:
Нужно сделать сервис который будет регулярно раз в неделю скачивать и сохранять в базу определенные страницы с амазона.
Сервис должен стоять на Linux VPS, база данных mysql or postgres. Скачивать каждую страницу нужно с интервалом 5-15 минут.
Этапы работы. Работа будет считаться завершенной когда по все этапам будет финализирована работа:
1 Выдача рекомендаций на покупку VPS с хорошей цена/качество.
2. Настроить VPS и Установить/настроить докер и вся работа будет вестись внутри докера
3 Установка Базы и всего необходимого на докере. Структура базы примерно выглядит так – номер записи, дата и время скачивания, размер файла, ключевой запрос, номер страницы, исходный код страницы
4 Разработка непосредственно скрипта
5 Разработка клиента в котором можно производить настройку это веб клиент, или описание как менять код по ssh
6 Деплой
7 Передача кода и настроек
8 Проверка устойчивости работы приложения, т.е. в течении двух недель должно быть скачено не менее 2000 страниц поиска.
9 Расходы на Прокси или IP или подобные вещи для обхода блокировок не дороже чем 10 долл в месяц
Код на амазон идет по ссылке https://www.amazon.com/s?k=bamboo+mat+for+sushi+roll&ref=nb_sb_noss, Я передам весь список асинов запросов когда будет готов код, а пока для теста – вот эти запросы
bamboo mat for sushi
sushi maker
sushi
Идти в глубь по выдаче нужно до 5 страницы, т.е. скачивать с первой по 5 страницы
Актуальні фриланс-проєкти в категорії Парсинг даних
Парсинг даних через мобільне APIШукаю людину з досвідом парсингу даних через мобільне API, для парсингу e-commerce, rozetka та аналоги Завдання: 1. Перехоплення трафіку мобільного додатку (Android) налаштування проксі, аналіз запитів 2. Визначення потрібних API endpoints, куди йдуть запити, які headers… Python, Парсинг даних ∙ 14 годин 49 хвилин тому ∙ 20 ставок |
Шукаю програміста або вайб-кодера для автоматизації збору даних 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing я випадково на ту ссылку послав Веб-програмування, Парсинг даних ∙ 17 годин 11 хвилин тому ∙ 30 ставок |
Створити дашборд у https://airtable.com/ по результативності рекламних креативів з facebook adsПовноцінне ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Бази даних та SQL, Парсинг даних ∙ 5 днів 11 годин тому ∙ 19 ставок |
Створення файлу Exel для завантаження товарів на сайти інших партнерів.Мене цікавить щоб зробити табличку Exel з повністю всіма параметрами. Ось сайт -https://heiztechnik.com.ua/ І позиціії які цікавлять щоб були перенесенні : Ручні котли : 1) TIS UNI 15-95 кВт(10) шт 2)TIS HARD 150-500 кВт(7) шт Пелетні котли: 1)TIS PELLET 15-95 кВт(10) шт 2)TIS… Парсинг даних ∙ 5 днів 15 годин тому ∙ 37 ставок |
Потрібен розробник для парсингу каталогу та автоматизації імпорту данихПодробне ТЗ в прикріпленому документі прошу в відповіді вказати орієнтовну вартість і терміни реалізації чи є досвід роботи з парсингом великих каталогів які можливі складнощі або обмеження ви бачите в даному завданні Бази даних та SQL, Парсинг даних ∙ 5 днів 18 годин тому ∙ 42 ставки |
Київ