Парсер, чтоб я сам мог собирать данные
1500 UAH
Добрый день!
Есть сайт тендерных закупок: https://smarttender.biz
Необходимо периодически парсить базу проведенных тендеров, но доступ к базе только для зарегистрированных пользователей. Запросы нужно отправлять через случайное время, например от 5 до 15 секунд, чтоб капчи не появлялись. Данные сохранять в эксель в два файла (база тендеров и база номенклатуры). И чтоб парсер я запускал сам со своего ПК на виндовсе. Мне писали как то для другой подобной задаче на питоне, вроде все работало нормально. Как получаем данные:
ФАЙЛ 1: база тендеров
1. В личном кабинете есть вот такой перечень с выбранными фильтрами. Фильтра сам ставить буду.Ваша задача парсить данные - выбранные по фильтрам. В ссылке прописываются выбранные фильтры, поэтому указывая ссылку в парсере можно получить правильный массив. Результаты отражаются по странично, т.е. по 20 позиций, т.е. парсер должен и по страницах ходить.
2. Сохраняем данные в одну строку по таким столбцам:
- номер (4339356)
- название лота (препарати для анестезії)
- квалификация (ДК 021:2015: 33600000-6Фармацевтична продукція )
- бюджет закупки (48000), т.е. одной цифрой
- № у ЦБД (UA-2019-08-07-000222-c )
-. организатор (Покровська центральна районна лікарня )
- адреса (85300, Україна, Донецька обл., Покровськ, вул.Руднєва, 73) - при "разворачивании" видно
- категория (33600000-6 Фармацевтична продукція)
- форма торгов (Допорогові закупівлі )
- статус торгов (Завершено )
- опубликовано (07.08.2019)
- Прийом пропозицій (09.08.2019 12:00)
- Аукціон (12.08.2019 12:36)
- Контактна особа від підприємства (Гулих Олександра Геннадіївна) - при "разворачивании" видно
- Телефон (+хххххххххх) - при "разворачивании" видно
- e-mail (ххххххххххххххх) - при "разворачивании" видно
- мультилот (да / нет) - в некоторых тендерах присваивается такой значек
Т.е. на примере вот этой позиции:
А при клике на серый фон разворачивается вот так:
Мультилот - вот такой значек
ФАЙЛ 2: база номенклатуры
1. получаем данные проваливая в каждую позицию из массива, который собираем для файла 1. Вот так выглядит страница для сбора данных (рамками пометил какие данные собирать):
2. Сохраняем данные в одну строку по таким столбцам:
- Закупівля № (4339356) - дублируем на все строки номенклатуры
- название лота (препарати для анестезії) - дублируем на все строки номенклатуры
- статус (Завершено) - дублируем на все строки номенклатуры
- Організатор (Комунальне неприбуткове підприємство "Покровська клінічна лікарня інтенсивного лікування" Покровської міської ради Донецької області) - дублируем на все строки номенклатуры
- Код ЄДРПОУ (01990884) - дублируем на все строки номенклатуры
- Адреса (85300, Україна, Донецька обл., Покровськ (Красноармійськ), вул. Руднєва, 73) - дублируем на все строки номенклатуры
- Форма проведення закупівлі (Допорогові закупівлі) - дублируем на все строки номенклатуры
- Категорія (33600000-6 Фармацевтична продукція) - дублируем на все строки номенклатуры
- бюджет (48 000,00) - дублируем на все строки номенклатуры
- Номенклатура_назва (Дитилін, 20мг/мл, ампула №10 Код ДК021: 33600000-6 Фармацевтична продукція)
- Номенклатура_кiлькисть (100 Упаковка )
- ПІБ (Гулих Олександра Геннадіївна)- дублируем на все строки номенклатуры
- Телефон (380хххххххх) - дублируем на все строки номенклатуры
- Email (alххххххххх)- дублируем на все строки номенклатуры
ВАЖНО! Есть такие позиции как МУЛЬТИЛОТ, они помечаются вот так:
В таких позициях при проваливании сразу нет возможности увидеть номенклатуру для формирования файла 2. Там нужно провалится и потом в блоке "номенклатура" провалится в каждый лот и там собрать данные все в один общий файл 2. Вот так:
Страница отдельного лота не отличается от описанное выше
Відгук замовника про співпрацю з Миколою Дудичем
Парсер, чтоб я сам мог собирать данныеНиколай внимательный к деталям и перепроверяет свою работу, рекомендую!
Відгук фрилансера про співпрацю з замовником
Парсер, чтоб я сам мог собирать данныеХороший клієнт, буду радий працювати для нього в майбутньому.
Актуальні фриланс-проєкти в категорії Парсинг даних
Шукаю програміста або вайб-кодера для автоматизації збору даних 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing я випадково на ту ссылку послав Веб-програмування, Парсинг даних ∙ 1 година 38 секунд тому ∙ 17 ставок |
Парсинг сайту YouControl (Юконтрол)
1200 UAH
Потрібно спарсити компанії з деяких категорій на сайті юконтрол, включаючи 1) назву 2) ЄДРПОУ 3) керівника 4) телефон Всі ці дані відкриті. Парсинг даних ∙ 16 годин 40 хвилин тому ∙ 29 ставок |
Створити дашборд у https://airtable.com/ по результативності рекламних креативів з facebook adsПовноцінне ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Бази даних та SQL, Парсинг даних ∙ 4 дні 19 годин тому ∙ 19 ставок |
Створення файлу Exel для завантаження товарів на сайти інших партнерів.Мене цікавить щоб зробити табличку Exel з повністю всіма параметрами. Ось сайт -https://heiztechnik.com.ua/ І позиціії які цікавлять щоб були перенесенні : Ручні котли : 1) TIS UNI 15-95 кВт(10) шт 2)TIS HARD 150-500 кВт(7) шт Пелетні котли: 1)TIS PELLET 15-95 кВт(10) шт 2)TIS… Парсинг даних ∙ 4 дні 23 години тому ∙ 36 ставок |
Потрібен розробник для парсингу каталогу та автоматизації імпорту данихПодробне ТЗ в прикріпленому документі прошу в відповіді вказати орієнтовну вартість і терміни реалізації чи є досвід роботи з парсингом великих каталогів які можливі складнощі або обмеження ви бачите в даному завданні Бази даних та SQL, Парсинг даних ∙ 5 днів 2 години тому ∙ 41 ставка |