Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!
1 500 ₴

Парсер, чтоб я сам мог собирать данные

проект завершен


Добрый день!
Есть сайт тендерных закупок: https://smarttender.biz

Необходимо периодически парсить базу проведенных тендеров, но доступ к базе только для зарегистрированных пользователей. Запросы нужно отправлять через случайное время, например от 5 до 15 секунд, чтоб капчи не появлялись. Данные сохранять в эксель в два файла (база тендеров и база номенклатуры). И чтоб парсер я запускал сам со своего ПК на виндовсе. Мне писали как то для другой подобной задаче на питоне, вроде все работало нормально. Как получаем данные:


ФАЙЛ 1: база тендеров
1. В личном кабинете есть вот такой перечень с выбранными фильтрами. Фильтра сам ставить буду.Ваша задача парсить данные - выбранные по фильтрам. В ссылке прописываются выбранные фильтры, поэтому указывая ссылку в парсере можно получить правильный массив. Результаты отражаются по странично, т.е. по 20 позиций, т.е. парсер должен и по страницах ходить.
image


2. Сохраняем данные в одну строку по таким столбцам:
- номер (4339356)
- название лота (препарати для анестезії)
- квалификация (ДК 021:2015: 33600000-6Фармацевтична продукція )
- бюджет закупки (48000), т.е. одной цифрой

- № у ЦБД (UA-2019-08-07-000222-c )
-. организатор (Покровська центральна районна лікарня )
- адреса (85300, Україна, Донецька обл., Покровськ, вул.Руднєва, 73) - при "разворачивании" видно

- категория (33600000-6 Фармацевтична продукція)
- форма торгов (Допорогові закупівлі )

- статус торгов (Завершено )

- опубликовано (07.08.2019)
- Прийом пропозицій (09.08.2019 12:00)
- Аукціон (12.08.2019 12:36)
- Контактна особа від підприємства (Гулих Олександра Геннадіївна) - при "разворачивании" видно
- Телефон (+хххххххххх) - при "разворачивании" видно
- e-mail (ххххххххххххххх) - при "разворачивании" видно

- мультилот (да / нет) - в некоторых тендерах присваивается такой значек

Т.е. на примере вот этой позиции:
image


А при клике на серый фон разворачивается вот так:
image


Мультилот - вот такой значек
image


ФАЙЛ 2: база номенклатуры
1. получаем данные проваливая в каждую позицию из массива, который собираем для файла 1. Вот так выглядит страница для сбора данных (рамками пометил какие данные собирать):
image
2. Сохраняем данные в одну строку по таким столбцам:
- Закупівля № (4339356) - дублируем на все строки номенклатуры
- название лота (препарати для анестезії) - дублируем на все строки номенклатуры
- статус (Завершено) - дублируем на все строки номенклатуры
- Організатор (Комунальне неприбуткове підприємство "Покровська клінічна лікарня інтенсивного лікування" Покровської міської ради Донецької області) - дублируем на все строки номенклатуры
- Код ЄДРПОУ (01990884) - дублируем на все строки номенклатуры

- Адреса (85300, Україна, Донецька обл., Покровськ (Красноармійськ), вул. Руднєва, 73) - дублируем на все строки номенклатуры

- Форма проведення закупівлі (Допорогові закупівлі) - дублируем на все строки номенклатуры
- Категорія (33600000-6 Фармацевтична продукція) - дублируем на все строки номенклатуры

- бюджет (48 000,00) - дублируем на все строки номенклатуры
- Номенклатура_назва (Дитилін, 20мг/мл, ампула №10 Код ДК021: 33600000-6 Фармацевтична продукція)
- Номенклатура_кiлькисть (100 Упаковка )
- ПІБ (Гулих Олександра Геннадіївна)- дублируем на все строки номенклатуры

- Телефон (380хххххххх) - дублируем на все строки номенклатуры

- Email (alххххххххх)- дублируем на все строки номенклатуры

image
ВАЖНО! Есть такие позиции как МУЛЬТИЛОТ, они помечаются вот так:
image

В таких позициях при проваливании сразу нет возможности увидеть номенклатуру для формирования файла 2. Там нужно провалится и потом в блоке "номенклатура" провалится в каждый лот и там собрать данные все в один общий файл 2. Вот так:
image


Страница отдельного лота не отличается от описанное выше

image


Отзыв заказчика о сотрудничестве с Николаем Дудичем

Качество
Профессионализм
Стоимость
Контактность
Сроки

Николай внимательный к деталям и перепроверяет свою работу, рекомендую!

Отзыв фрилансера о сотрудничестве с Андреем Андреем

Оплата
Постановка задачи
Четкость требований
Контактность

Хороший клієнт, буду радий працювати для нього в майбутньому.

Николай Николай Дудич | Сейф Сейф



  1. ставка скрыта заказчиком
  2. ставка скрыта заказчиком
  1. ставка скрыта заказчиком
  2. ставка скрыта заказчиком
  3. ставка скрыта заказчиком