Создать парсер kidstaff
122 USDСоздание самого парсера со следующими требованиями:
1. Парсинг запускаетсья ежедневно (в полночь по Киеву), проходится по всем категориям, что нас интересуют, по всем страницам пагинации и получает объявления, которые ранее не парсились.
2. Парсить объявления, по файлами сведения записывает их в XML-файл с текущей датой.
3. Парсер запускается в docker-compose, одним из контейнеров является база данных (на выбор) с возможностью доступа извне контейнера.
4. Парсер ежедневно записывает XML-файл в смонтированную директорию на завтрашний день, но не перезаписывая старые, и позволяет на следующий день забрать по HTTP актуальной файл, начиная с 00:00 по Киеву.
5. Поля cena и currency не обозначены обязательными (звездочка у тегу) на сайте, но таковы во всех категориях.
6. Пример XML-файла: https://drive.google.com/file/
7. Поля таблицы в БД: URL, ID (с сайта, а не собственный), категория (всегда будет "detskiy-mir-X-kidstaff.xml"), дата и время создания, дата и время удаления (во время заливки null).
8. Ежедневно также необходимо парсить файл на удаление. Нужно проходиться по тем объявлениях, которые еще не обозначены в БД как удаленные и, если оно уже деактивировано или удалено на сайте, записывать текущую дату как дату удаления. Пример файла удаления (принцип сохранения и выдачи по URL) точно такой же, как и у файла с объявлениями: https://drive.google.com/file/
9. Если объявление не устраивает условии заполнения любого из тегов (не свелось город / цена / нет имени автора / нет номера телефона / прочее), то оно пропускается.
10. Вопрос о необходимости прокси на их предоставление решается лично.
11. Парсинг должен быть многопоточным (хотя бы 100-200 потоков).
-
7 days158 USD
862 9 0 7 days158 USD
Сделаю на Ruby ( Sinatra + Nokogiri / Mechanize / Watir , Sneakers , Whenever ) + Docker
Контакты:
Skype: unionups
Telegram: @unionups
или в личку))
-
7 days122 USD
621 19 0 7 days122 USD
могу реализовать nodejs либо php
Skype : sergey.gm79
telegram: @mardoc
-
4 days122 USD
1005 30 3 1 4 days122 USD
Сделаю быстро и качественно, есть большой опыт в написании парсеров. Точный срок после обсуждения
-
бюджет занижен раз так в 6-7
-
только написал про низкий бюджет, как заказчик увеличил прайс в 2 раза.
Смешно =) -
Current freelance projects in the category Web Programming
Creation or adjustment of a website on OpenCartHello everyone! Preliminary situation for understanding: I ordered the development of a website from Templatemonsters. I agreed on the technical specifications in advance and purchased a template from them. In the end, the deadlines were not met, and they wrote that they could… Web Programming, Online Stores & E-commerce ∙ 3 hours 57 minutes back ∙ 9 proposals |
Development of an AI mobile application for children's fairy talesLooking for an experienced developer or team to create a mobile application with artificial intelligence that will generate short, kind, and age-appropriate fairy tales for children. A simple, beautiful, and safe product where a parent can create a personal bedtime story for… AI & Machine Learning, Web Programming ∙ 4 hours 59 minutes back ∙ 19 proposals |
Betting needs to create a bookmaker! WITH EXPERIENCEIt is necessary to develop a betting platform / bookmaker product based on a ready-made template. The main task is to adapt the template for a full-fledged bookmaker office: connect parsing of sports events and odds, implement a user personal account, balance, bets, transaction… Python, Web Programming ∙ 5 hours 5 minutes back ∙ 16 proposals |
Translator for WordPress.Need to translate a WordPress site with WooCommerce into 30 languages. A plugin for convenient automatic translation. To avoid clicking through each page for translations and each product. To make exceptions for certain phrases. To be able to edit the translation. Automatic… Web Programming, Website Development ∙ 5 hours 35 minutes back ∙ 13 proposals |
Edits for the website on OpencartThe site veselkatm.com.ua on OpenCart Version 3.0.3.8 1) Complete the cart Implement delivery methods: - Ukrposhta - Nova Poshta Install and configure modules so that everything works correctly Implement payment methods: - Cash on delivery - Bank transfer - Card payment… Content Management Systems, Web Programming ∙ 8 hours 35 minutes back ∙ 39 proposals |
Kyiv