Парсер, чтоб я сам мог собирать данные
1500 UAHДобрый день!
Есть сайт тендерных закупок: https://smarttender.biz
Необходимо периодически парсить базу проведенных тендеров, но доступ к базе только для зарегистрированных пользователей. Запросы нужно отправлять через случайное время, например от 5 до 15 секунд, чтоб капчи не появлялись. Данные сохранять в эксель в два файла (база тендеров и база номенклатуры). И чтоб парсер я запускал сам со своего ПК на виндовсе. Мне писали как то для другой подобной задаче на питоне, вроде все работало нормально. Как получаем данные:
ФАЙЛ 1: база тендеров
1. В личном кабинете есть вот такой перечень с выбранными фильтрами. Фильтра сам ставить буду.Ваша задача парсить данные - выбранные по фильтрам. В ссылке прописываются выбранные фильтры, поэтому указывая ссылку в парсере можно получить правильный массив. Результаты отражаются по странично, т.е. по 20 позиций, т.е. парсер должен и по страницах ходить.
2. Сохраняем данные в одну строку по таким столбцам:
- номер (4339356)
- название лота (препарати для анестезії)
- квалификация (ДК 021:2015: 33600000-6Фармацевтична продукція )
- бюджет закупки (48000), т.е. одной цифрой
- № у ЦБД (UA-2019-08-07-000222-c )
-. организатор (Покровська центральна районна лікарня )
- адреса (85300, Україна, Донецька обл., Покровськ, вул.Руднєва, 73) - при "разворачивании" видно
- категория (33600000-6 Фармацевтична продукція)
- форма торгов (Допорогові закупівлі )
- статус торгов (Завершено )
- опубликовано (07.08.2019)
- Прийом пропозицій (09.08.2019 12:00)
- Аукціон (12.08.2019 12:36)
- Контактна особа від підприємства (Гулих Олександра Геннадіївна) - при "разворачивании" видно
- Телефон (+хххххххххх) - при "разворачивании" видно
- e-mail (ххххххххххххххх) - при "разворачивании" видно
- мультилот (да / нет) - в некоторых тендерах присваивается такой значек
Т.е. на примере вот этой позиции:
А при клике на серый фон разворачивается вот так:
ФАЙЛ 2: база номенклатуры
1. получаем данные проваливая в каждую позицию из массива, который собираем для файла 1. Вот так выглядит страница для сбора данных (рамками пометил какие данные собирать):
2. Сохраняем данные в одну строку по таким столбцам:
- Закупівля № (4339356) - дублируем на все строки номенклатуры
- название лота (препарати для анестезії) - дублируем на все строки номенклатуры
- статус (Завершено) - дублируем на все строки номенклатуры
- Організатор (Комунальне неприбуткове підприємство "Покровська клінічна лікарня інтенсивного лікування" Покровської міської ради Донецької області) - дублируем на все строки номенклатуры
- Код ЄДРПОУ (01990884) - дублируем на все строки номенклатуры
- Адреса (85300, Україна, Донецька обл., Покровськ (Красноармійськ), вул. Руднєва, 73) - дублируем на все строки номенклатуры
- Форма проведення закупівлі (Допорогові закупівлі) - дублируем на все строки номенклатуры
- Категорія (33600000-6 Фармацевтична продукція) - дублируем на все строки номенклатуры
- бюджет (48 000,00) - дублируем на все строки номенклатуры
- Номенклатура_назва (Дитилін, 20мг/мл, ампула №10 Код ДК021: 33600000-6 Фармацевтична продукція)
- Номенклатура_кiлькисть (100 Упаковка )
- ПІБ (Гулих Олександра Геннадіївна)- дублируем на все строки номенклатуры
- Телефон (380хххххххх) - дублируем на все строки номенклатуры
- Email (alххххххххх)- дублируем на все строки номенклатуры
ВАЖНО! Есть такие позиции как МУЛЬТИЛОТ, они помечаются вот так:
В таких позициях при проваливании сразу нет возможности увидеть номенклатуру для формирования файла 2. Там нужно провалится и потом в блоке "номенклатура" провалится в каждый лот и там собрать данные все в один общий файл 2. Вот так:
Страница отдельного лота не отличается от описанное выше
Отзыв заказчика о сотрудничестве с Миколой Дудичем
Парсер, чтоб я сам мог собирать данныеНиколай внимательный к деталям и перепроверяет свою работу, рекомендую!
![]()
Отзыв фрилансера о сотрудничестве с заказчиком
Парсер, чтоб я сам мог собирать данныеХороший клієнт, буду радий працювати для нього в майбутньому.
Актуальные фриланс-проекты в категории Парсинг данных
Создать дашборд в https://airtable.com/ по результативности рекламных креативов из facebook adsПолноценное ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Базы данных и SQL, Парсинг данных ∙ 1 день 8 часов назад ∙ 17 ставок |
Создание файла Exel для загрузки товаров на сайты других партнеров.Меня интересует, чтобы сделать таблицу Excel со всеми параметрами. Вот сайт - https://heiztechnik.com.ua/ И позиции, которые интересуют, чтобы были перенесены : Ручные котлы : 1) TIS UNI 15-95 кВт (10) шт 2)TIS HARD 150-500 кВт (7) шт Пеллетные котлы: 1)TIS PELLET 15-95 кВт… Парсинг данных ∙ 1 день 12 часов назад ∙ 34 ставки |
Требуется разработчик для парсинга каталога и автоматизации импорта данныхПодробное ТЗ в прикрепленном документе прошу в отклике указать ориентировочную стоимость и сроки реализации есть ли опыт работы с парсингом крупных каталогов какие возможные сложности или ограничения вы видите в данной задаче Базы данных и SQL, Парсинг данных ∙ 1 день 15 часов назад ∙ 39 ставок |
Найти товарный фид (Google Merchant XML) для сайта на OpenCart
700 UAH
Необходимо найти прямую ссылку на действующий товарный фид (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Найти оригинальный фидТребования к результату: Рабочая ссылка на XML-файл Python, Парсинг данных ∙ 1 день 20 часов назад ∙ 21 ставка |
Парсинг товаров с супермаркетовНужен специалист (парсинг + Google Sheets + автоматизация). Цель: Создать систему автоматического получения и обновления цен на продукты питания из супермаркетов Сильпо и NOVUS с выводом данных в Google Sheets. Что необходимо реализовать: Создать основную Google Sheets таблицу с… Парсинг данных, Поиск и сбор информации ∙ 2 дня 4 часа назад ∙ 46 ставок |

