Спарсить сайт Steam

Сайт https://store.steampowered.com/

Все игры на украинском и английском языках (регион Украина и США), кроме игр для взрослых (сексуальный контент).

Саундтреки, программы и другой контент не нужны, только игры.

Каждая категория содержит подкатегорию, например Аркады, Казуальные, Открытый мир, Стрелялки и многие другие.

Перечень ссылок для парсинга отсутствует, необходимо собрать самостоятельно. На сайте есть ссылки на все категории и различные операционные системы.

1. Данные должны быть в виде файлов json (по 100 мб каждый), чтобы можно было скриптом загрузить в mysql базу данных для нашей структуры.

2. Первый файл состоит из двух подразделов: "categories" и "apps".

- "categories" содержит в себе массив объектов, которые включают в себя "title" (название категории/раздела) и link (полное ссылку на категорию/раздел)

- "apps" содержит в себе массив объектов, которые включают в себя всю информацию о приложении.

Каждый следующий файл уже не содержит в себе разделения на "categories" и "apps", потому что весь список категорий есть в первом файле. Дальше только информация о приложениях.

3. Структура объектов, которые содержит массив "apps":

link - Полное ссылку на приложение/игру

name_company - Разработчик

company_link - Полное ссылку на разработчика

title - Название приложения/игры

content - Описание приложения/игры (текст описания и вся техническая информация. версия, стоимость, обновления, языки и тд)

categories - Все категории, к которым относится приложение/игра, например ['Инди', 'Стратегии']

rated - Возрастные ограничения

update - Последнее обновление приложения/игры

reviews - Количество отзывов приложения/игры

rating - Рейтинг приложения

price - Стоимость (цена)

size - Размер приложения (мегабайт)

compatibility - Совместимость ( Windows, MacOS, Linux, SteamOS и т.д.), например ['Windows', 'macOS']

logo_image - Ссылка на изображение со страницы - Логотип приложения/игры

logo_path - Название изображения со страницы - Логотип приложения/игры

all_image - Ссылка на изображение со страницы - “скриншоты” приложения/игры (первые 3 скриншота, если нет изображений, то такую игру пропускаем)

all_image_path - Название изображения со страницы - “скриншоты” приложения/игры

3. К этим файлам нам необходима папка:

- С картинками (логотип приложения/игры + изображения со страницы приложения/игры)

Резюмируя, нам нужно иметь:

- 1.json, 2.json, 3.json... - файлы с всей информацией о всех категориях и приложениях/играх

- images_1, images_2, images_3... - папки с изображениями со страниц приложений/игр, можно разделить их по 5 гб