Andrii Shmagala
Победившая ставка- Проекты 55
- Оценка -
- Рейтинг 2 281
Бюджет: 3000 UAH Срок: 3 дня
Доброго дня!
Спершу категории по поддержке Python selenium
Уже парал Amazon и не один раз
Ставки скрыты
Ставки пока отсутствуют
-
Володимир Калач 21 сентября 2023Можете надати приклад результату роботи.
наприклад 3 категорії та всю інформацыю по ним, яку ви хочете бачити.
дуже цікавить як інформація так і спосіб розміщення в таблиці. -
Володимир Калач 21 сентября 2023до речі.
на Amazon.DE станом на 2019-05-20 було 50576 категорій
на америці 172025 категорій. -
Evgeniy K
21 сентября 2023
Доброго дня!
Результат потрібен в .csv або json форматі (як зручніше вам).
Для кожної категорії потрібен - id, url, список фільтрів (json назва фільтра та список доступних опцій всередині), мінімальна, середня, та максимальна ціна на трьох видача - дефолтній, та за сортуваннями по ціні (числа), для кожної з трьох видач, що ми парсимо - json масив з товарів на ній (назва, зображення, url, ціна). Усі дані наявні на сторінці категорії, додатково парсити сторінки товарів не потрібно.
Якщо можливо також - кількість товарів в кожній категорії (можливо амазон десь вказує просто число).
Хм, можливо дійсно категорій більше - тоді і парсити теж більше потрібно ніж 25к категорій.
-
Володимир Калач 21 сентября 2023наданий Вами зразок (для 3х категрорій) з id, url, список фільтрів ...
зробить спілкування більш об"єктивним. -
Evgeniy K
22 сентября 2023
Ось приклад в JSON
{
"name": "Garden hoses",
"node_id": "553966",
"parent_node_id": "00001",
"link": "https://www.amazon.com/Garden-Hoss/b?ie=UTF8&node=553966",
"products_count": 1046,
"filters": {
"Featured Brands": [
"Flexzilla",
"Graco"
.....],
"Hose Length": [
"14 Feet & Under",
"15 to 24 Feet"
...
],
"Hose material": [
"Polyurethane",
"Rubber",
"Vinyl"
]
// *Інші фільтри з усіма варіантами відповідей*
},
"default_sort": { // дані з першої сторінки даної категорії з дефолтним сортуванням
"min_price": 2,
"max_price": 2,
"avg_price": 2,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"asc_sort": {// дані з першої сторінки даної категорії з сортуванням за зростанням ціни
"min_price": 34534,
"max_price": 356,
"avg_price": 22344,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"desc_sort": { // дані з першої сторінки даної категорії з сортуванням за зменшенням ціни
"min_price": 3,
"max_price": 4,
"avg_price": 6,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
// *інші наявні розміри зображення в картці товару*
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
}
}
-
Ivan Hrytskiv 21 сентября 2023Как результат, нужен примерно такой файл (это кстати актуальный полный список категорий амазона):
https://drive.google.com/file/d/1kI0X_XWwjuCvylnfJKeOu8IMurjDvrBW/view?usp=sharing
Це ви серйозно ?)))))))))))))))))))))))
це тілька маленька частина категорій амазону ))))))))))))
до повного списку тут ще кравлити і кравлити ))))))))) -
Evgeniy K
21 сентября 2023
да, уже понял, странно что этот список заявили как полный. Интересно, чего не хватает - в глубину или в ширину
-
Володимир Калач 21 сентября 2023я помилився. це в німеччині 172025 стільки категорій. в Америці дещо більше.
-
Ivan Hrytskiv 21 сентября 2023Наскільки я встиг подивитись - то , І в ширину і в глибину.
І якщо хтось Вам пропонує селеніумом парсити категорії - ну... це принаймі смішно і не рентабельно.
При мульти процесорності та паралельності звичайними запитами , які не блокаються амазоном - це займає 27 годин .
І навіть за цей час встигають появлятись нові категорії. А урли на деякі категорії і їх підкатегорії - уже будуть не актуальними. Тому, що або змінили свої урли , або ж уже не існують.
Тому в завдання потрібно вказувати- що зібрати якусь частину дерева категорій - в глиб стільки то нодів, в ширину - стільки то .
-
Evgeniy K
21 сентября 2023
Мене цікавить максимально глибоке та широке дерево (якщо якась частина категорій втратить актуальність це не проблема). За скільки ви б взялися за поставлене завдання з урахуванням необхідних даних?
-
Володимир Калач 21 сентября 2023пару років назад через amazon MWS (API)
був доступний звіт _GET_XML_BROWSE_TREE_DATA_
цей звіт віддавав список ВСІХ категорій на маркетплейсі.
наразі цей звіт застарів
( апі повертає відповідь<Message>Requested report type is deprecated in MWS</Message>
)
Актуальные фриланс-проекты в категории Парсинг данных
Добрый день,Я поручаю создание стабильного и надежного решения для автоматического мониторинга цен и доступности продуктов из конкретного, крупного польского интернет-магазина в области RTV/AGD.Цель проекта: Система должна регулярно проверять выбранные продуктовые ссылки и в случае изменения цены или статуса доступности отправлять уведомление (предпочтительно в Telegram, Discord или по электронной почте – по согласованию).Задача: Сайт магазина имеет очень агрессивные антибот-системы (Akamai/Cloudflare). Обычные скрипты, загружающие код страницы, немедленно обнаруживаются и блокируются. Решение должно эффективно обходить эти защиты, маскировать трафик бота и работать стабильно в долгосрочной перспективе, без постоянного появления ошибок "Access Denied".Что я ожидаю от исполнителя: Предложить полную архитектуру и технологии (я не навязываю язык программирования или конкретные инструменты). Предоставить готовое решение, которое я смогу легко запустить и управлять им. Советы по инфраструктуре (например, какие прокси будут необходимы для бесперебойной работы системы).В ответ на объявление прошу кратко описать: Какой подход/технологию вы предлагаете, чтобы эффективно и в долгосрочной перспективе обходить защиты этого магазина? Как вы видите вопрос передачи уведомлений? Какова ориентировочная стоимость выполнения и срок реализации?Приглашаю к подаче заявок.
О компании Торговая компания. Работаем с товарной группой более 2000 позиций по разным категориям.Текущая ситуация Сейчас номенклатура ведётся в Google Sheets — данные консолидированы по вкладкам (категориям). Структура вкладок: Наименование товара Группы цен: себестоимость, опт, розница Характеристики: вес, количество в упаковке и т.д. Важно: количество колонок отличается для разных категорий товаров, так как у них разные характеристики.Почему текущее решение не подходит Google Sheets не позволяет настраивать права доступа на уровне отдельных колонок. Нам нужно: Давать пользователям права на просмотр определённых колонок (например, только себестоимости) Давать права на редактирование определённых колонок (например, розничных цен) При этом ограничивать доступ к остальным колонкам в той же вкладкеЧто нужно сделатьОсновные требования Гибкая система разграничения прав Доступ на уровне отдельных колонок (чтение / запись) Назначение прав по ролям или пользователям Управление правами без участия программистов Поддержка разной структуры данных Разные категории товаров имеют разный набор характеристик Добавление новых колонок/характеристик без программирования Независимость от разработчиков Администрирование силами внутренних сотрудников Добавление категорий, колонок, пользователей — через интерфейс Интеграция с ERP Выгрузка актуальных цен в нашу ERP-систему Экспорт или автоматическая интеграция по API Анализ данных с помощью ИИ (желательно) Возможность анализа всего перечня номенклатуры Обогащение, проверка, рекомендации — если у вас есть идеи, опишитеОжидаемый результат Работающее решение, в котором: Номенклатура структурирована по категориям с разными наборами характеристик Права на колонки гибко настраиваются (просмотр / редактирование) Данные выгружаются в ERP Команда может управлять системой самостоятельноЧто нужно от вас при отклике Опишите в общих чертах, как вы видите решение: Какой инструмент / платформу предлагаете
Требуется разработать простую программу или Telegram-бота для парсинга участников чатов и обсуждений каналов в Telegram. Функционал: Пользователь вводит ссылку на канал или чат. Если указана ссылка на канал, программа должна автоматически переходить в раздел «Обсуждения» и выполнять парсинг именно участников обсуждения. В результате необходимо выгружать только уникальные ссылки на профили пользователей без повторений. Дополнительные требования к отбору: В выборку должны попадать только пользователи, у которых в профиле указан собственный публичный канал. Канал пользователя должен иметь не менее 200 подписчиков. Пользователи с каналами меньшего размера не подходят. Нужен максимально простой и удобный инструмент: достаточно вставить ссылку и запустить сбор данных по указанным критериям. Я не являюсь программистом, поэтому буду признателен за оценку реализуемости такого решения и ваши предложения по оптимальному способу разработки. Стандартные парсеры нас не интересуют — требуется реализация именно описанной выше логики отбора. Ответ на ваши предложения может быть в течение дня.
Добрый вечер, есть задача: нужно 1-2 раза в день проверять наличие и актуальность цен товаров, которые добавлены на сайт (сайт на платформе prom.ua) с сайта поставщика. Можете рассчитать цену и как это будет выглядеть.
Настроить автоматическое обновление раз в день наличия товаров на нашем сайте на пром.юа. У нас есть поставщик, он отправляет прайс-лист товаров в эксель-формате на нашу электронную почту каждый день. Артикулы на нашем сайте и в прайсе поставщика одинаковые. Значение в столбце "остатки" либо отсутствует, либо число, либо больше ящика - нужно обновлять на сайте в состояние Готово к отправке или Нет в наличии. Артикулы, которых нет в прайсе поставщика - оставлять без изменений. Предложите, пожалуйста, решение, срок и бюджет. Спасибо за отзыв заранее, жду специалиста для сотрудничества.