Спарсить сайт Steam
Сайт https://store.steampowered.com/
Все игры на украинском и английском языках (регион Украина и США), кроме игр для взрослых (сексуальный контент).
Саундтреки, программы и другой контент не нужны, только игры.
Каждая категория содержит подкатегорию, например Аркады, Казуальные, Открытый мир, Стрелялки и многие другие.
Перечень ссылок для парсинга отсутствует, необходимо собрать самостоятельно. На сайте есть ссылки на все категории и различные операционные системы.
1. Данные должны быть в виде файлов json (по 100 мб каждый), чтобы можно было скриптом загрузить в mysql базу данных для нашей структуры.
2. Первый файл состоит из двух подразделов: "categories" и "apps".
- "categories" содержит в себе массив объектов, которые включают в себя "title" (название категории/раздела) и link (полное ссылку на категорию/раздел)
- "apps" содержит в себе массив объектов, которые включают в себя всю информацию о приложении.
Каждый следующий файл уже не содержит в себе разделения на "categories" и "apps", потому что весь список категорий есть в первом файле. Дальше только информация о приложениях.
3. Структура объектов, которые содержит массив "apps":
link - Полное ссылку на приложение/игру
name_company - Разработчик
company_link - Полное ссылку на разработчика
title - Название приложения/игры
content - Описание приложения/игры (текст описания и вся техническая информация. версия, стоимость, обновления, языки и тд)
categories - Все категории, к которым относится приложение/игра, например ['Инди', 'Стратегии']
rated - Возрастные ограничения
update - Последнее обновление приложения/игры
reviews - Количество отзывов приложения/игры
rating - Рейтинг приложения
price - Стоимость (цена)
size - Размер приложения (мегабайт)
compatibility - Совместимость ( Windows, MacOS, Linux, SteamOS и т.д.), например ['Windows', 'macOS']
logo_image - Ссылка на изображение со страницы - Логотип приложения/игры
logo_path - Название изображения со страницы - Логотип приложения/игры
all_image - Ссылка на изображение со страницы - “скриншоты” приложения/игры (первые 3 скриншота, если нет изображений, то такую игру пропускаем)
all_image_path - Название изображения со страницы - “скриншоты” приложения/игры
3. К этим файлам нам необходима папка:
- С картинками (логотип приложения/игры + изображения со страницы приложения/игры)
Резюмируя, нам нужно иметь:
- 1.json, 2.json, 3.json... - файлы с всей информацией о всех категориях и приложениях/играх
- images_1, images_2, images_3... - папки с изображениями со страниц приложений/игр, можно разделить их по 5 гб
Отзыв заказчика о сотрудничестве с Anna G.
Спарсить сайт SteamРабота выполнена на отлично. Быстро и качественно. Рекомендую!
Отзыв фрилансера о сотрудничестве с Александром А.
Спарсить сайт SteamРекомендую этого заказчика всем фрилансерам, которые ищут профессиональное и продуктивное сотрудничество.
Сотрудничество с этим заказчиком было для меня очень успешным и плодотворным. Коммуникация была открытой, конструктивной и приятной на всем этапе проекта. Заказчик был всегда доступным, готовым к сотрудничеству и демонстрировал глубокое понимание задачи.
Техническое задание было детальным и понятным, что позволило мне эффективно выполнить задачу без каких-либо дополнительных вопросов или неопределенностей. Его реалистичные ожидания и гибкость в работе значительно облегчали процесс выполнения задания.
В целом, это сотрудничество было очень полезным и показало, что хорошо подготовленные задания и открытая коммуникация могут значительно облегчить работу и привести к успешным результатам.
-
487 4 0 Здравствуйте! Доброго дня. Зацікавила ваш проєкт. Дослідивши його, я готова приступити до його виконання. Пишу на Python. Могу запропонувати оптимальні рішення для досягнення найкращого результату. Для більш детального обговорення, мені потрібно переглянути ваш сайт і оцінити його складність. Пишіть, буду рада співробітництву.
-
338 2 0 Здравствуйте!
У меня есть опыт в создании парсеров для сбора и обработки данных. С радостью помогу с вашим проектом.
Разработаю парсер, который собирает необходимую информацию и выполняет нужные функции. Работаю до полного утверждения.
Напишите мне в личные сообщения, обсудим детали.
P.S. По цене договоримся, работаю над увеличением рейтинга на бирже.
-
3356 70 1 Здравствуйте.
Готов выполнить проект. ТЗ описано хорошо.
Я пишу скрипты с нуля под конкретную задачу. Использую javascript. Результат работы будет качественным.
Обращайтесь, буду рад сотрудничать.
Актуальные фриланс-проекты в категории Парсинг данных
Парсинг данных через мобильное APIИщу человека с опытом парсинга данных через мобильное API, для парсинга e-commerce, rozetka и аналоги Задачи: 1. Перехват трафика мобильного приложения (Android) настройка прокси, анализ запросов 2. Определение нужных API endpoints куда идут запросы, какие headers… Python, Парсинг данных ∙ 22 часа 7 минут назад ∙ 23 ставки |
Ищу программиста или вайб кодинг Автоматизация scraping данных 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing я нечаянно на ту ссылку послал Веб-программирование, Парсинг данных ∙ 1 день назад ∙ 31 ставка |
Создать дашборд в https://airtable.com/ по результативности рекламных креативов из facebook adsПолноценное ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Базы данных и SQL, Парсинг данных ∙ 5 дней 19 часов назад ∙ 19 ставок |
Создание файла Exel для загрузки товаров на сайты других партнеров.Меня интересует, чтобы сделать таблицу Excel со всеми параметрами. Вот сайт - https://heiztechnik.com.ua/ И позиции, которые интересуют, чтобы были перенесены : Ручные котлы : 1) TIS UNI 15-95 кВт (10) шт 2)TIS HARD 150-500 кВт (7) шт Пеллетные котлы: 1)TIS PELLET 15-95 кВт… Парсинг данных ∙ 5 дней 23 часа назад ∙ 37 ставок |
Требуется разработчик для парсинга каталога и автоматизации импорта данныхПодробное ТЗ в прикрепленном документе прошу в отклике указать ориентировочную стоимость и сроки реализации есть ли опыт работы с парсингом крупных каталогов какие возможные сложности или ограничения вы видите в данной задаче Базы данных и SQL, Парсинг данных ∙ 6 дней 2 часа назад ∙ 42 ставки |