Вводна інформація:
Є 2 популярних сайти інтернет-аукціонів б/у машин у США:
https://www.iaai.com/
https://copart.com/
Щодня, крім вихідних, там розігруються сотні машин.
Існують сайти, які показують історію цих торгів.
Один з найпопулярніших:
https://bidfax.info/
На цьому сайті є каталог за маркою/моделлю та пошук за VIN номером машини.
Наприклад, можна ввести в пошук 2G1FB1E34F9307496 таке і знайти інформацію про проданий лот ( https://bidfax.info/chevrolet/camaro/11295493-chevrolet-camaro-ls-2015-red-36l-6-vin-2g1fb1e34f9307496.html )
Там показується інформація про машину і також фотографії.
Приклад сторінок лота на сайтах аукціонів можна побачити, натиснувши на лоти на цих сторінках:
1) https://www.iaai.com/Search?url=wpS89AfdHeLqu3OH0Uq89l93d2uHNn%2fpJ3I9uZfX1MA%3d
2) https://www.copart.com/lotSearchResults?free=true&query=camaro
Задача:
Необхідно розробити парсер інформації та збирати базу даних аналогічно BidFax.
1. Так, я розумію, який це обсяг даних. Він дуже великий. Для зберігання інформації буде надано ресурс з великим розміром дискового сховища.
2. Збирати потрібно по кожному лоту ту ж інформацію, яку збирає БідФакс, але окрім цього також додатково:
- фотографії в HD якості
- кругові панорами
- відео.
Для прикладу фото в HD якості можна подивитися тут: https://autohelperbot.com/ якщо пошуком пошукати той же VIN код 2G1FB1E34F9307496
3. Для того щоб обсяг даних не був зовсім вже запредельний, ми будемо ігнорувати деякі лоти (насправді більше половини) за деякими критеріями. Наприклад, не будемо зберігати до себе лоти:
а) старші 2015 року
б) будемо виключати цілий ряд брендів
Йдеться тільки про розробку парсера. Тобто це програмний продукт, який буде щодня поповнювати БД і файлове сховище інформацією про нові лоти. Ми самостійно розробляємо сайт, який буде ці дані виводити.
Складні питання:
1. Основна складність у тому, що парсити треба не просто каталог цих сайтів, а результати торгів, щоб бачити суму, за яку машина була продана. Як парсер буде отримувати інформацію про торги? Адже сам аукціон відбувається в окремому інтерфейсі. Потрібно залогінитися, дочекатися часу початку торгів і запустити ці інтерфейси, щоб побачити. Там все вкрай не просто…
2. Одна з непростих задач — зробити так, щоб структура даних була однаковою. Це те питання, яке поки у мене викликає непорозуміння. Зокрема, дерево марок/моделей авто різне на обох сайтах. Потрібно це якось стандартизувати.
3. Я, до речі, не розумію, яким чином різні розширення для хрому дізнаються VIN номер машини. Тому що на сторінці лота ця інформація прихована під зірочки, тобто виглядає ось так: 2G1FA1E31D9******, але якщо поставити, наприклад, в це розширення https://autohelperbot.com/, то відразу видно VIN код машини.
Окрім розробки парсера потрібно буде обслуговувати його в майбутньому. Тому що зміни на сайтах аукціонів можуть повлечи за собою. Так що важливо розуміти не тільки вартість розробки, а й вартість подальшого обслуговування (рейт за годину роботи).
Ми розуміємо всю складність проекту і знаємо, що це не буде коштувати 100-200 доларів, це складне завдання. Але ми розраховуємо на отримання вдумливих і детальних відповідей, а не копіпасту "З радістю виконую ваш проект!". Будь ласка, відписуйтеся з більш-менш конкретними пропозиціями.
