Создать парсер kidstaff
120 USDСоздание самого парсера со следующими требованиями:
1. Парсинг запускаетсья ежедневно (в полночь по Киеву), проходится по всем категориям, что нас интересуют, по всем страницам пагинации и получает объявления, которые ранее не парсились.
2. Парсить объявления, по файлами сведения записывает их в XML-файл с текущей датой.
3. Парсер запускается в docker-compose, одним из контейнеров является база данных (на выбор) с возможностью доступа извне контейнера.
4. Парсер ежедневно записывает XML-файл в смонтированную директорию на завтрашний день, но не перезаписывая старые, и позволяет на следующий день забрать по HTTP актуальной файл, начиная с 00:00 по Киеву.
5. Поля cena и currency не обозначены обязательными (звездочка у тегу) на сайте, но таковы во всех категориях.
6. Пример XML-файла: https://drive.google.com/file/
7. Поля таблицы в БД: URL, ID (с сайта, а не собственный), категория (всегда будет "detskiy-mir-X-kidstaff.xml"), дата и время создания, дата и время удаления (во время заливки null).
8. Ежедневно также необходимо парсить файл на удаление. Нужно проходиться по тем объявлениях, которые еще не обозначены в БД как удаленные и, если оно уже деактивировано или удалено на сайте, записывать текущую дату как дату удаления. Пример файла удаления (принцип сохранения и выдачи по URL) точно такой же, как и у файла с объявлениями: https://drive.google.com/file/
9. Если объявление не устраивает условии заполнения любого из тегов (не свелось город / цена / нет имени автора / нет номера телефона / прочее), то оно пропускается.
10. Вопрос о необходимости прокси на их предоставление решается лично.
11. Парсинг должен быть многопоточным (хотя бы 100-200 потоков).
-
7 days156 USD
862 9 0 7 days156 USD
Сделаю на Ruby ( Sinatra + Nokogiri / Mechanize / Watir , Sneakers , Whenever ) + Docker
Контакты:
Skype: unionups
Telegram: @unionups
или в личку))
-
7 days120 USD
721 19 0 7 days120 USD
могу реализовать nodejs либо php
Skype : sergey.gm79
telegram: @mardoc
-
4 days120 USD
1005 30 3 1 4 days120 USD
Сделаю быстро и качественно, есть большой опыт в написании парсеров. Точный срок после обсуждения
-
бюджет занижен раз так в 6-7
-
только написал про низкий бюджет, как заказчик увеличил прайс в 2 раза.
Смешно =) -
Current freelance projects in the category Web Programming
Parsing products, preparation for import to WPScrape the full catalog of these websites: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ All products need to be combined into one general table for import into WP.… Web Programming, Data Parsing ∙ 10 hours 43 minutes back ∙ 31 proposals |
Integration of a service cost calculator on the Webflow site
330 USD
We are looking for a developer to integrate a ready-made service cost calculator into our website, created on Webflow. About the company We are engaged in: furniture assembly; TV mounting; mounting shelves, pictures, mirrors, and other items; moving help; heavy lifting; handyman… Javascript and Typescript, Web Programming ∙ 13 hours 46 minutes back ∙ 43 proposals |
Create a website and connect it to Shopifyto create a website and connect it to Shopify the main page is in the mockup there will be no product pages, there will be a modal window for selecting the size of the cream jar and its quantity after that, a delivery and payment window the order must be sent to Shopify with… HTML & CSS, Web Programming ∙ 15 hours 33 minutes back ∙ 56 proposals |
Looking for a Bitrix24 specialist / CRM integrator to set up automation.Our company works with CRM Bitrix24. We need a specialist who can set up automatic addition of phone numbers to leads/orders in two formats. Automation must be correctly configured for two countries: the Republic of Moldova and Romania. Task: When creating a lead or order in… PHP, Web Programming ∙ 20 hours 8 minutes back ∙ 22 proposals |
Need a developer to create an automated AI service for generating numerology reports.
178 USD
I'm looking for a developer who can implement a turnkey automated service for generating personal numerology reports. A product concept, calculation formulas, texts, knowledge base, landing page design, and PDF report design are ready. It is necessary to combine all this into… AI & Machine Learning, Web Programming ∙ 21 hours 24 minutes back ∙ 69 proposals |
Kyiv