Вводная информация:
Есть 2 популярных сайта интернет-аукционов б/у машин в США:
https://www.iaai.com/
https://copart.com/
Ежедневно кроме выходных там разыгрываются сотни машин.
Существуют сайты которые показывают историю этих торгов.
Один из самых популярных:
https://bidfax.info/
На этом сайте есть каталог по марке/модели и поиск по VIN номеру машины.
Например можно вбить в поиск 2G1FB1E34F9307496 такое и найти информацию по проданному лоту ( https://bidfax.info/chevrolet/camaro/11295493-chevrolet-camaro-ls-2015-red-36l-6-vin-2g1fb1e34f9307496.html )
Там показывается информация по машине и также фотографии.
Пример страниц лота на сайта аукционов можно увидеть нажав на лоты на этих страницах:
1) https://www.iaai.com/Search?url=wpS89AfdHeLqu3OH0Uq89l93d2uHNn%2fpJ3I9uZfX1MA%3d
2) https://www.copart.com/lotSearchResults?free=true&query=camaro
Задача:
Необходимо разработать парсер информации и собирать базу данных аналогично BidFax.
1. Да, я понимаю какой это объем данных. Он очень большой. Для хранения информации будет предоставлен ресурс с большим размером дискового хранилища.
2. Собирать нужно по каждому лоту ту же информацию которую собирает БидФакс, но помимо этого также дополнительно:
- фотографии в HD качестве
- круговые панорамы
- видео.
Для примера фото в HD качестве можно посмотреть тут: https://autohelperbot.com/ если поиском поискать тот же VIN код 2G1FB1E34F9307496
3. Для того чтобы объем данных не был совсем уж запредельный мы будем игнорировать некоторые лоты (на самом деле больше половины) по некоторым критериям. Например не будем сохранять к себе лоты:
а) старше 2015 года
б) будем исключать целый ряд брендов
Речь идет только о разработке парсера. То есть это программный продукт который будет ежедневно пополнять бд и файловое хранилище информацией о новых лотах. Мы самостоятельно разрабатываем сайт который будет эти данные выводить.
Сложные вопросы:
1. Основная сложность в том что парсить надо не просто каталог этих сайтов, а результаты торгов в том числе, чтобы видеть сумму по которой машина была продана. Как парсер будет получать информацию о торгах? Ведь сам аукцион происходит в отдельном интерфейсе. Нужно залогиниться, дождаться времени начало торгов и запустить эти интерфейсы чтобы увидеть. Там все крайне не просто…
2. Одна из непростых задач сделать так чтобы структура данных была одинаковой. Это тот вопрос пока у меня вызывает недопонимание. В частности дерево марок/моделей авто разное в обоих сайтах. Нужно это как то стандартизировать.
3. Я кстати не понимаю каким образом разные расширения для хрома узнают VIN номер машины. Потому что на странице лота эта информация скрыта под звездочки, то есть выглядит вот так: 2G1FA1E31D9****** но если поставить например во это расширение https://autohelperbot.com/ то сразу видно VIN код машины.
Помимо разработки парсера нужно будет обслуживать его в будущем. Потому что изменения на сайтах аукционов могут повлечь за собой. Так что важно понимать не только стоимость разработки, а и стоимость дальнейшего обслуживания (рейт за час работы).
Мы понимаем всю сложность проекта и знаем что это не будет стоить 100-200 долларов, это сложная задача. Но мы рассчитываем на получение вдумчивых и подробных ответов, а не копипасту "С радостью выполню ваш проект!". Пожалуйста отписывайтесь с более-менее конкретными предложениями.
