Парсинг сайта. Спарсить сайт

1. Нужно спарсить технические характеристики по автомобилям с сайта Auto.ru.

2. Парсить нужно не объявления!!! Только технические характеристики (цифры, буквы, символы)!

3. Под техническими данными подразумевается - Марка автомобиля, модель автомобиля, поколение, года выпуска, объем двигателя, тип двигателя, тип коробки передач, количество передач в коробке передач, привод, кузов.

4. Технические характеристики заносятся в наш шаблон Excel и в указанные поля (вариант вашего шаблона Excel не рассматривается!!!).

5. Всего будет 39 шт марок автомобилей из всего списка сайта Auto.ru.

6. Каждая марка автомобиля будет в отдельном файле Excel (т.е. в одном файле не будет все 39 шт. Марка Kia значит шаблон содержит только технические характеристики Kia).

7. Внутри каждого шаблона Excel будет 6 Листов. Разделены на 3 типа – Автоматическая коробка передач, Роботизированная коробка передач, Вариатор.

8. Уважаемые исполнители (фрилансеры), нам нужна не программа и не нужно самостоятельно пользоваться программой постоянно, а нужны готовые (заполненные) Excel файлы по нашему шаблону.

9. На примере Kia Sportage, подробные шаги парсера (парсинга) и куда переходить для сбора информации на сайте Auto.ru:

9.1. Сайт Auto.ru - https://auto.ru/. На этой странице указаны все марки автомобилей. Кнопка «Все марки» раскрывает больший список марок автомобилей;

9.2. Выбрали марку автомобиля Kia - https://auto.ru/cars/kia/all/. На этой странице указаны все модели Kia. Кнопка «Все модели» раскрывает больший список моделей Kia. Уже на этом этапе видны часть технических характеристик для парсинга - Марка автомобиля, модель автомобиля, поколение, года выпуска в поле «Поколение»;

9.3. Выбрали марку автомобиля Kia, модель Sportage и выбираем поколение «3 рестайлинг 2014-2016» - https://auto.ru/cars/kia/sportage/all/?sort=fresh_relevance_1-desc. На этой странице указаны все поколения Kia, года выпуска, порядковый номер кузова (от 1 и на увеличение). ВАЖНО! Слово «рестайлинг» тоже обязательно парситься;

9.4. После выбора марки автомобиля Kia, модели Sportage, поколения 3 рестайлинг 2014-2016, заполнились эти поля значениями - https://auto.ru/cars/kia/sportage/20101920/all/?sort=fresh_relevance_1-desc и нажимаем кнопку «Показать». Далее нажимаем на кнопку «Каталоги». Снизу нажимаем на фото автомобиля - https://auto.ru/catalog/cars/kia/sportage/20101920/, после перехода нажимаем на кнопку «Характеристики» - https://auto.ru/catalog/cars/kia/sportage/20101920/20101923/specifications/;

9.5. После перехода в «Характеристики», здесь есть все технические характеристики – Марка автомобиля, модель автомобиля, поколение, года выпуска, объем двигателя, тип двигателя, тип коробки передач, количество передач в коробке передач, привод, кузов;

9.6. В «Характеристики» повторяются технические характеристики, они не должны дублироваться в шаблоне Excel. Здесь должно работать правило по следующим техническим характеристикам - Тип двигателя (бензин или дизель), Объем двигателя (литры), Мощности двигателя (л.с. - лошадиные силы), Привод (передний, задний или полный), Тип коробки передач (Автомат, механика, робот или вариатор);

Разберем на примере названий комплектаций салона автомобиля. Есть 4 комплектации – Premium, Comfort, Luxe, Prestige. В этих комплектациях одинаковый двигатель (типу двигателя, по объему, мощности), приводу и типу коробки передач.

Тип двигателя - Бензин

Объем двигателя - 2.0

Мощности двигателя - 150

Привод - полный (4x4)

Тип коробки передач - Автомат

Нам нужны только не дублируемые технические характеристики, занесенные в шаблон Excel – Марка автомобиля, модель автомобиля, поколение, года выпуска, объем двигателя, тип двигателя, тип коробки передач, количество передач в коробке передач, привод, кузов.

9.7. В «Характеристики» дублируются технические характеристики:

Топливо = Тип двигателя (2-а раза) = Марка топлива

Коробка = Коробка передач

Привод – Тип привода

9.8. В шаблоне Excel есть поле «Страна марки», заполняется значением - «США», только если на Auto.ru в «Характеристики» – «Общая информация» – «Страна марки» указано – «США» (для американских марок автомобилей);

10. Шаблон Excel будет прикреплен для ознакомления + скрин как выглядит заполнение:

10.1. В шаблоне Excel может может не хватать столбцов, поэтому нужно автоматически их добавить;

10.2. Список столбцов, которые могут увеличиваться по количеству – Поколение, Год (год выпуска), Объем (объем двигателя), Количество передач (количество передач в коробке передач. ВАЖНО! В вариаторах нет передач), Привод (тип привода), Кузов (тип кузова);

10.3. На автомобили ставится 4 типа двигателей – Бензин (бензиновый), дизель (дизельный), газ (газовый), гибрид (электрический), поэтому у каждого поколения автомобиля будет от 2 до 4 таблиц;

10.4. В шаблоне Excel поле «Ссылка на Характеристики» заполняется ссылкой Auto.ru из «Характеристики» – https://auto.ru/catalog/cars/kia/sportage/20101920/20101923/specifications/20101923_20101936_20101927/

Не рассматриваются отклики, в формате:

1. «Здравствуйте, готов взяться за ваш проект, пишите». Интересующий формат отклика опишем ниже;

2. «Есть подобная база с другого сайта, можем обговорить цену»;

3. «Цена 10 руб за 1 объявление». Нам объявления не нужны;

4. «Могу написать программу, которая будет парсить». Нам нужны готовые (заполненные) по нашему шаблону Excel;

5. «Частично (часть проекта) могу выполнить». Нужно 100% выполнение проекта одним исполнителем (фрилансером). Возможно сдача готовых (заполненных) шаблонов Excel по 1-й марке автомобиля, но с гарантией выполнения;

6. От исполнителей (фрилансеров), которые берут в работу проект и занимаются параллельно другими заказчиками (этот пункт можно изначально обговорить, если проект от другого заказчика заканчиваете).

Рассматриваются отклики, в формате:

1. Срок выполнения в днях (можно приблизительно), от 2 дней до 14 дней;

2. Когда готов(а) приступить к выполнению ТЗ? (Сегодня, завтра, через 2 дня, через 3 дня);

3. Стоимость в рублях (можно приблизительно, но не должно быть огромной разницы между указанной стоимостью и обговоренной перед выполнением. Внимательно изучите ТЗ!). Возможно указание стоимости выполнения проекта в Личное сообщение;

4. Если были подобные проекты, то укажите ссылки на сайты откуда парсили и сроки выполнения (будет дополнительным фактором выбрать Вас);

5. Если есть опыт парсинга сайтов с распознанием текста (т.е. на картинке маленького размера указан серийный номер автозапчасти) на картинке и внесения правильно-распознанных символов в Excel (будет дополнительным фактором выбрать Вас для следующего проекта после этого) – Да или Нет;

6. Самостоятельность – Да или Нет (нужно напоминать, что нужно доделать проект?).

Что дальше после написанного отклика в нужном формате:

1. Придет Личное сообщение с логином Скайпа, по которому нужно связаться;

2. Обсудить все детали ТЗ, сроки выполнения, стоимость, день начала выполнения, варианты оплаты;

3. ОБЯЗАТЕЛЬНО! Занесение технических характеристик только в наш шаблон Excel;

4. ОБЯЗАТЕЛЬНО! Тестово заполнить шаблон Excel по Kia Sportage одному поколению;

5. По результатам тестового заполнения шаблона Excel обговариваются исправления. После только начало выполнение проекта;

6. Если нужно, получение дополнительной разъясняющей информации по автомобилям, сайту Auto.ru;

7. Оплата (предоплата) индивидуально;

8. По завершению проекта, возможно рассмотрение исполнителя (фрилансера) на следующий проект, если есть знания в распознании текста (т.е. на картинке маленького размера указан серийный номер автозапчасти) на картинке и внесения правильно-распознанных символов в Excel.

Файлы:

ТЗ

Шаблон Excel

Список Марок автомобилей, которые нужно спарсить

8 скриншотов сайта Auto.ru

Теги:

Парсер, парсинг, спарсить, сайт, база данных