Zeskanować stronę Steam

Strona https://store.steampowered.com/

Wszystkie gry w języku ukraińskim i angielskim (region Ukraina i USA), z wyjątkiem gier dla dorosłych (treści seksualne).

Ścieżki dźwiękowe, programy i inna zawartość nie są potrzebne, tylko gry.



Każda kategoria zawiera podkategorię, na przykład Arcade, Casual, Open World, Strzelanki i wiele innych.



Brak listy linków do parsowania, należy je zebrać samodzielnie. Na stronie znajdują się linki do wszystkich kategorii i różnych systemów operacyjnych.



1. Dane powinny być w postaci plików json (po 100 MB każdy), aby można je było załadować skryptem do bazy danych mysql dla naszej struktury.



2. Pierwszy plik składa się z dwóch podrozdziałów: "categories" i "apps".

- "categories" zawiera tablicę obiektów, które zawierają "title" (nazwa kategorii/rozdziału) oraz link (pełny link do kategorii/rozdziału)

- "apps" zawiera tablicę obiektów, które zawierają wszystkie informacje o aplikacji.



Każdy następny plik nie zawiera już podziału na "categories" i "apps", ponieważ cała lista kategorii znajduje się w pierwszym pliku. Dalej tylko informacje o aplikacjach.



3. Struktura obiektów, które zawiera tablica "apps":

link - Pełny link do aplikacji/gry

name_company - Deweloper

company_link - Pełny link do dewelopera

title - Nazwa aplikacji/gry

content - Opis aplikacji/gry (tekst opisu oraz wszystkie informacje techniczne. wersja, cena, aktualizacje, języki itd.)

categories - Wszystkie kategorie, do których należy aplikacja/gra, na przykład ['Indie', 'Strategie']

rated - Ograniczenia wiekowe

update - Ostatnia aktualizacja aplikacji/gry

reviews - Liczba recenzji aplikacji/gry

rating - Ocena aplikacji

price - Cena (koszt)

size - Rozmiar aplikacji (megabajty)

compatibility - Kompatybilność (Windows, MacOS, Linux, SteamOS itd.), na przykład ['Windows', 'macOS']

logo_image - Link do obrazu ze strony - Logo aplikacji/gry

logo_path - Nazwa obrazu ze strony - Logo aplikacji/gry

all_image - Link do obrazu ze strony - “zrzuty ekranu” aplikacji/gry (pierwsze 3 zrzuty ekranu, jeśli nie ma obrazów, to taką grę pomijamy)

all_image_path - Nazwa obrazu ze strony - “zrzuty ekranu” aplikacji/gry



3. Do tych plików potrzebujemy folderu:

- Z obrazkami (logo aplikacji/gry + obrazy ze strony aplikacji/gry)





Podsumowując, potrzebujemy mieć:

- 1.json, 2.json, 3.json... - pliki z wszystkimi informacjami o wszystkich kategoriach i aplikacjach/grach

- images_1, images_2, images_3... - foldery z obrazami ze stron aplikacji/gier, można je podzielić po 5 GB