Парсер kid staff
61 USDСоздание самого парсера со следующими требованиями:
1. Парсинг запускаетсья ежедневно (в полночь по Киеву), проходится по всем категориям, что нас интересуют, по всем страницам пагинации и получает объявления, которые ранее не парсились.
2. Парсить объявления, по файлами сведения записывает их в XML-файл с текущей датой.
3. Парсер запускается в docker-compose, одним из контейнеров является база данных (на выбор) с возможностью доступа извне контейнера.
4. Парсер ежедневно записывает XML-файл в смонтированную директорию на завтрашний день, но не перезаписывая старые, и позволяет на следующий день забрать по HTTP актуальной файл, начиная с 00:00 по Киеву.
5. Поля cena и currency не обозначены обязательными (звездочка у тегу) на сайте, но таковы во всех категориях.
6. Пример XML-файла: https://drive.google.com/file/
7. Поля таблицы в БД: URL, ID (с сайта, а не собственный), категория (всегда будет "detskiy-mir-X-kidstaff.xml"), дата и время создания, дата и время удаления (во время заливки null).
8. Ежедневно также необходимо парсить файл на удаление. Нужно проходиться по тем объявлениях, которые еще не обозначены в БД как удаленные и, если оно уже деактивировано или удалено на сайте, записывать текущую дату как дату удаления. Пример файла удаления (принцип сохранения и выдачи по URL) точно такой же, как и у файла с объявлениями: https://drive.google.com/file/
9. Если объявление не устраивает условии заполнения любого из тегов (не свелось город / цена / нет имени автора / нет номера телефона / прочее), то оно пропускается.
10. Вопрос о необходимости прокси на их предоставление решается лично.
11. Парсинг должен быть многопоточным (хотя бы 100-200 потоков).
Current freelance projects in the category Web Programming
Google Tag Manager (server-side) through Stape
23 USD
Need a specialist with experience in setting up Google Tag Manager (server-side) via Stape. The goal is to check the current setup and errors in the Stape-Shopify chain, tag managers. Identify the error and fix it. Tracking should be set up for purchases, cart, views, etc.… Web Programming, Contextual Advertising ∙ 4 minutes back |
Remove 404 errors from the website
On the website of the online store (Khoroshop platform), about 11,000 "Not Found (404)" errors have been recorded in Google Search Console. Analyzing the logs revealed that bots (including bot traffic from Asia) are massively scanning incorrectly generated mutant links. The… HTML & CSS, Web Programming ∙ 1 hour 16 minutes back ∙ 15 proposals |
Need to extract POST / GET / PUT requests from the TikTok mobile application urgently.In essence. It is necessary to extract POST / GET / PUT requests from the TikTok mobile application. Even by essence, it is not necessary to fully reverse anything since signatures are available on the internet, etc. But it would also be great. All authorization (Sending… Web Programming, Desktop Apps ∙ 6 hours 10 minutes back ∙ 7 proposals |
Product search function by imageIt is necessary to develop and integrate a product search function by image on the website.What needs to be implementedA "Search by Photo" button on the website.Image upload by the user: JPG.Search for visually similar products in the catalog.Display results in the form of… PHP, Web Programming ∙ 6 hours 47 minutes back ∙ 27 proposals |
Full-stack development — Amazon PPC Dashboard (Stage 1)Need a full-stack developer with experience working with Amazon API to implement Stage 1 of the internal PPC dashboard. The project is real, the data is live, everything is ready to start. Frontend prototype (5 pages, React + TypeScript): WHAT IS ALREADY READY — Frontend… Javascript and Typescript, Web Programming ∙ 14 hours 30 minutes back ∙ 18 proposals |
Kyiv