Парсинг сайта. Спарсить сайт

1. Нужно спарсить технические характеристики по автомобилям с сайта Auto.ru.

2. Парсить нужно не объявления!!! Только технические характеристики (цифры, буквы, символы)!

3. Под техническими данными подразумевается - Марка автомобиля, модель автомобиля, поколение, тип коробки передач, привод.

4. Технические характеристики заносятся в наш шаблон Excel и в указанные поля (вариант вашего шаблона Excel не рассматривается!!!).

5. Всего будет 59 шт марок автомобилей из всего списка сайта Auto.ru.

6. Каждая марка автомобиля будет в отдельном файле Excel (т.е. в одном файле не будет все 59 шт. Марка BMW значит шаблон содержит только технические характеристики BMW).

7. Внутри каждого шаблона Excel будет 8 Листов. Разделены на 4 типа – Автоматическая коробка передач, Механическая коробка передач, Роботизированная коробка передач, Вариатор.

8. Уважаемые исполнители (фрилансеры), нам нужна не программа и не нужно самостоятельно пользоваться программой постоянно, а нужны готовые (заполненные) Excel файлы по нашему шаблону.

9. На примере BMW 7 серия, подробные шаги парсера (парсинга) и куда переходить для сбора информации на сайте Auto.ru:

9.1. Сайт Auto.ru - https://auto.ru/. На этой странице указаны все марки автомобилей. Кнопка «Все марки» раскрывает больший список марок автомобилей;

9.2. Выбрали марку автомобиля BMW  - https://auto.ru/cars/bmw/all/. На этой странице указаны все модели BMW. Кнопка «Все модели» раскрывает больший список моделей BMW. Уже на этом этапе видны часть технических характеристик для парсинга - Марка автомобиля, модель автомобиля, поколение.

9.3. Выбрали марку автомобиля BMW, модель 7 серия и выбираем поколение «2012-2015 V (F01/F02/F04) Рестайлинг» - https://auto.ru/cars/bmw/7er/all/?sort=price-desc. На этой странице указаны все поколения BMW, года выпуска, порядковый номер кузова (от 1 и на увеличение);

9.4. После выбора марки автомобиля BMW, модели 7 серия, поколения 2012-2015 V (F01/F02/F04) Рестайлинг, заполнились эти поля значениями - https://auto.ru/cars/bmw/7er/8277751/all/?sort=price-desc и нажимаем кнопку «Показать». Далее нажимаем на вкладку «Каталоги». Снизу нажимаем на фото автомобиля - https://auto.ru/catalog/cars/bmw/7er/8277751/, после перехода нажимаем на вкладку  «Характеристики» - https://auto.ru/catalog/cars/bmw/7er/8277751/8277753/specifications/;

9.5. После перехода в «Характеристики», здесь есть технические характеристики – Марка автомобиля, модель автомобиля, поколение, коробки передач, привод;

9.6. В «Характеристики» повторяются технические характеристики, они не должны дублироваться в шаблоне Excel;

Разберем на примере названий комплектаций салона автомобиля. Есть 4 комплектации – Premium, Comfort, Luxe, Prestige. В этих комплектациях одинаковый двигатель (типу двигателя, по объему, мощности), приводу и типу коробки передач.

Тип двигателя - Бензин

Объем двигателя - 2.0

Мощности двигателя - 150

Привод - полный (4x4)

Тип коробки передач - Автомат

Нам нужны не дублируемые технические характеристики, занесенные в шаблон Excel – Марка автомобиля, модель автомобиля, поколение, тип коробки передач, привод.

<!--[if !vml]-->

9.7. В «Характеристики» дублируются технические характеристики:

Коробка = Коробка передач

Привод – Тип привода

10. Шаблон Excel будет прикреплен для ознакомления + скрин как выглядит заполнение:

10.1. В шаблоне Excel может не хватать столбцов, поэтому нужно автоматически их добавить;

10.2. Список столбцов, которые могут увеличиваться по количеству – Поколение. ВАЖНО! В вариаторах нет передач), Привод (тип привода на Auto.ru);

Не рассматриваются отклики, в формате:

1. «Здравствуйте, готов взяться за ваш проект, пишите». Интересующий формат отклика опишем ниже;

2. «Есть подобная база с другого сайта, можем обговорить цену»;

3. «Цена 10 руб за 1 объявление». Нам объявления не нужны;

4. «Могу написать программу, которая будет парсить». Нам нужны готовые (заполненные) по нашему шаблону Excel;

5. «Частично (часть проекта) могу выполнить». Нужно 100% выполнение проекта одним исполнителем (фрилансером). Возможно сдача готовых (заполненных) шаблонов Excel по 1-й марке автомобиля, но с гарантией выполнения;

6. От исполнителей (фрилансеров), которые берут в работу проект и занимаются параллельно другими заказчиками (этот пункт можно изначально обговорить, если проект от другого заказчика заканчиваете).

Рассматриваются отклики, в формате:

1. Срок выполнения в днях (можно приблизительно), от 2 дней до 14 дней;

2. Когда готов(а) приступить к выполнению ТЗ? (Сегодня, завтра, через 2 дня, через 3 дня);

3. Стоимость в рублях (можно приблизительно, но не должно быть огромной разницы между указанной стоимостью и обговоренной перед выполнением. Внимательно изучите ТЗ!). Возможно указание стоимости выполнения проекта в Личное сообщение;

4. Если были подобные проекты, то укажите ссылки на сайты откуда парсили и сроки выполнения (будет дополнительным фактором выбрать Вас);

5. Самостоятельность – Да или Нет (нужно напоминать, что нужно доделать проект?).

Что дальше после написанного отклика в нужном формате:

1. Придет Личное сообщение с логином Скайпа, по которому нужно связаться;

2. Обсудить все детали ТЗ, сроки выполнения, стоимость, день начала выполнения, варианты оплаты;

3. ОБЯЗАТЕЛЬНО! Занесение технических характеристик только в наш шаблон Excel;

4. Если нужно, получение дополнительной разъясняющей информации по автомобилям, сайту Auto.ru;

5. Оплата (предоплата) индивидуально.

Файлы:

ТЗ

Шаблон Excel

Список Марок автомобилей, которые нужно спарсить

Теги:

Парсер, Парсинг, Парсить, Парсинг данных, Базы данных, Поиск и сбор информации