Парсинг выдачи до 5 страницы
56 USDНужно сделать сервис который будет регулярно раз в неделю скачивать и сохранять в базу определенные страницы с амазона.
Сервис должен стоять на Linux VPS, база данных mysql or postgres. Скачивать каждую страницу нужно с интервалом 5-15 минут.
Этапы работы. Работа будет считаться завершенной когда по все этапам будет финализирована работа:
Нужно сделать сервис который будет регулярно раз в неделю скачивать и сохранять в базу определенные страницы с амазона.
Сервис должен стоять на Linux VPS, база данных mysql or postgres. Скачивать каждую страницу нужно с интервалом 5-15 минут.
Этапы работы. Работа будет считаться завершенной когда по все этапам будет финализирована работа:
1 Выдача рекомендаций на покупку VPS с хорошей цена/качество.
2. Настроить VPS и Установить/настроить докер и вся работа будет вестись внутри докера
3 Установка Базы и всего необходимого на докере. Структура базы примерно выглядит так – номер записи, дата и время скачивания, размер файла, ключевой запрос, номер страницы, исходный код страницы
4 Разработка непосредственно скрипта
5 Разработка клиента в котором можно производить настройку это веб клиент, или описание как менять код по ssh
6 Деплой
7 Передача кода и настроек
8 Проверка устойчивости работы приложения, т.е. в течении двух недель должно быть скачено не менее 2000 страниц поиска.
9 Расходы на Прокси или IP или подобные вещи для обхода блокировок не дороже чем 10 долл в месяц
Код на амазон идет по ссылке https://www.amazon.com/s?k=bamboo+mat+for+sushi+roll&ref=nb_sb_noss, Я передам весь список асинов запросов когда будет готов код, а пока для теста – вот эти запросы
bamboo mat for sushi
sushi maker
sushi
Идти в глубь по выдаче нужно до 5 страницы, т.е. скачивать с первой по 5 страницы
Current freelance projects in the category Data Parsing
Data parsing through mobile APILooking for a person with experience in data parsing through mobile API, for parsing e-commerce, rozetka and similar sites. Tasks: 1. Intercepting traffic from the mobile application (Android), setting up a proxy, analyzing requests. 2. Identifying the necessary API endpoints… Python, Data Parsing ∙ 5 hours 14 minutes back ∙ 16 proposals |
Looking for a programmer or vibe coding Automation scraping data 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing I accidentally sent that link Web Programming, Data Parsing ∙ 7 hours 36 minutes back ∙ 25 proposals |
Create a dashboard in https://airtable.com/ for the performance of advertising creatives from Facebook ads.Full specification https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Databases & SQL, Data Parsing ∙ 5 days 2 hours back ∙ 19 proposals |
Creation of an Excel file for uploading products to the websites of other partners.I am interested in creating an Excel table with all parameters. Here is the website - https://heiztechnik.com.ua/ And the positions I am interested in to be transferred: Manual boilers: 1) TIS UNI 15-95 kW (10) pcs 2)TIS HARD 150-500 kW (7) pcs Pellet boilers: 1)TIS PELLET… Data Parsing ∙ 5 days 6 hours back ∙ 36 proposals |
A developer is required for parsing the catalog and automating data import.Detailed technical specifications in the attached document Please indicate the estimated cost and timeline in your response Do you have experience working with parsing large catalogs What possible difficulties or limitations do you see in this task Databases & SQL, Data Parsing ∙ 5 days 9 hours back ∙ 41 proposals |
Kyiv