Wprowadzenie:

Są 2 popularne strony internetowe z aukcjami samochodów używanych w USA:

https://www.iaai.com/

https://copart.com/

Codziennie, z wyjątkiem weekendów, odbywają się setki aukcji samochodów.

Istnieją strony, które pokazują historię tych aukcji.
Jedna z najpopularniejszych:

https://bidfax.info/

Na tej stronie znajduje się katalog według marki/modelu oraz wyszukiwarka po numerze VIN samochodu.

Na przykład można wpisać w wyszukiwarkę 2G1FB1E34F9307496 i znaleźć informacje o sprzedanym aucie ( https://bidfax.info/chevrolet/camaro/11295493-chevrolet-camaro-ls-2015-red-36l-6-vin-2g1fb1e34f9307496.html )
Tam pokazane są informacje o samochodzie oraz zdjęcia.

Przykład stron aukcji można zobaczyć klikając na aukcje na tych stronach:

1) https://www.iaai.com/Search?url=wpS89AfdHeLqu3OH0Uq89l93d2uHNn%2fpJ3I9uZfX1MA%3d

2) https://www.copart.com/lotSearchResults?free=true&query=camaro

Zadanie:

Należy opracować parser informacji i zbierać bazę danych podobnie jak BidFax.

1. Tak, rozumiem, że to ogromna ilość danych. Jest bardzo duża. Do przechowywania informacji zostanie udostępniony zasób z dużą pojemnością dyskową.

2. Należy zbierać dla każdej aukcji te same informacje, które zbiera BidFax, ale oprócz tego również dodatkowo:
- zdjęcia w jakości HD

- panoramy 360 stopni

- wideo.
Na przykład zdjęcia w jakości HD można zobaczyć tutaj: https://autohelperbot.com/ jeśli wyszuka się ten sam kod VIN 2G1FB1E34F9307496 

3. Aby objętość danych nie była zbyt duża, będziemy ignorować niektóre aukcje (w rzeczywistości więcej niż połowę) według pewnych kryteriów. Na przykład nie będziemy przechowywać aukcji:
a) starszych niż 2015 rok

b) wykluczymy szereg marek

Mowa jest tylko o opracowaniu parsera. To znaczy, że to produkt programowy, który będzie codziennie uzupełniał bazę danych i magazyn plików informacjami o nowych aukcjach. Samodzielnie opracowujemy stronę, która będzie wyświetlać te dane.

Trudne pytania:

1. Główna trudność polega na tym, że należy parsować nie tylko katalog tych stron, ale także wyniki aukcji, aby zobaczyć kwotę, za którą samochód został sprzedany. Jak parser będzie uzyskiwał informacje o aukcjach? Przecież sama aukcja odbywa się w oddzielnym interfejsie. Należy się zalogować, poczekać na rozpoczęcie aukcji i uruchomić te interfejsy, aby zobaczyć. Tam wszystko jest niezwykle skomplikowane…

2. Jednym z trudnych zadań jest zapewnienie, aby struktura danych była jednolita. To pytanie wciąż budzi moje wątpliwości. W szczególności drzewo marek/modeli samochodów jest różne na obu stronach. Należy to jakoś ustandaryzować.

3. Zresztą nie rozumiem, w jaki sposób różne rozszerzenia do Chrome poznają numer VIN samochodu. Ponieważ na stronie aukcji ta informacja jest ukryta pod gwiazdkami, wygląda to tak: 2G1FA1E31D9******, ale jeśli użyje się na przykład tego rozszerzenia https://autohelperbot.com/, to od razu widać kod VIN samochodu.

Oprócz opracowania parsera, w przyszłości będzie trzeba go obsługiwać. Ponieważ zmiany na stronach aukcji mogą to wymusić. Dlatego ważne jest, aby zrozumieć nie tylko koszt opracowania, ale także koszt dalszej obsługi (stawka za godzinę pracy).

Rozumiemy całą złożoność projektu i wiemy, że nie będzie to kosztować 100-200 dolarów, to skomplikowane zadanie. Ale liczymy na otrzymanie przemyślanych i szczegółowych odpowiedzi, a nie kopiowania "Z radością zrealizuję Twój projekt!". Proszę o odpowiedzi z bardziej lub mniej konkretnymi propozycjami.