Andrii Shmagala
Переможець- Проєкти 55
- Оцінка -
- Рейтинг 2 281
Бюджет: 3000 UAH Термін: 3 дні
Доброго дня!
Спаршу категорій за допоогою python selenium
вже парсив amazon і не один раз
Ставки приховані
Ставки поки відсутні
-
Володимир Калач 21 вересня 2023Можете надати приклад результату роботи.
наприклад 3 категорії та всю інформацыю по ним, яку ви хочете бачити.
дуже цікавить як інформація так і спосіб розміщення в таблиці. -
Володимир Калач 21 вересня 2023до речі.
на Amazon.DE станом на 2019-05-20 було 50576 категорій
на америці 172025 категорій. -
Evgeniy K
21 вересня 2023
Доброго дня!
Результат потрібен в .csv або json форматі (як зручніше вам).
Для кожної категорії потрібен - id, url, список фільтрів (json назва фільтра та список доступних опцій всередині), мінімальна, середня, та максимальна ціна на трьох видача - дефолтній, та за сортуваннями по ціні (числа), для кожної з трьох видач, що ми парсимо - json масив з товарів на ній (назва, зображення, url, ціна). Усі дані наявні на сторінці категорії, додатково парсити сторінки товарів не потрібно.
Якщо можливо також - кількість товарів в кожній категорії (можливо амазон десь вказує просто число).
Хм, можливо дійсно категорій більше - тоді і парсити теж більше потрібно ніж 25к категорій.
-
Володимир Калач 21 вересня 2023наданий Вами зразок (для 3х категрорій) з id, url, список фільтрів ...
зробить спілкування більш об"єктивним. -
Evgeniy K
22 вересня 2023
Ось приклад в JSON
{
"name": "Garden hoses",
"node_id": "553966",
"parent_node_id": "00001",
"link": "https://www.amazon.com/Garden-Hoss/b?ie=UTF8&node=553966",
"products_count": 1046,
"filters": {
"Featured Brands": [
"Flexzilla",
"Graco"
.....],
"Hose Length": [
"14 Feet & Under",
"15 to 24 Feet"
...
],
"Hose material": [
"Polyurethane",
"Rubber",
"Vinyl"
]
// *Інші фільтри з усіма варіантами відповідей*
},
"default_sort": { // дані з першої сторінки даної категорії з дефолтним сортуванням
"min_price": 2,
"max_price": 2,
"avg_price": 2,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"asc_sort": {// дані з першої сторінки даної категорії з сортуванням за зростанням ціни
"min_price": 34534,
"max_price": 356,
"avg_price": 22344,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"desc_sort": { // дані з першої сторінки даної категорії з сортуванням за зменшенням ціни
"min_price": 3,
"max_price": 4,
"avg_price": 6,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
// *інші наявні розміри зображення в картці товару*
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
}
}
-
Ivan Hrytskiv 21 вересня 2023Как результат, нужен примерно такой файл (это кстати актуальный полный список категорий амазона):
https://drive.google.com/file/d/1kI0X_XWwjuCvylnfJKeOu8IMurjDvrBW/view?usp=sharing
Це ви серйозно ?)))))))))))))))))))))))
це тілька маленька частина категорій амазону ))))))))))))
до повного списку тут ще кравлити і кравлити ))))))))) -
Evgeniy K
21 вересня 2023
да, уже понял, странно что этот список заявили как полный. Интересно, чего не хватает - в глубину или в ширину
-
Володимир Калач 21 вересня 2023я помилився. це в німеччині 172025 стільки категорій. в Америці дещо більше.
-
Ivan Hrytskiv 21 вересня 2023Наскільки я встиг подивитись - то , І в ширину і в глибину.
І якщо хтось Вам пропонує селеніумом парсити категорії - ну... це принаймі смішно і не рентабельно.
При мульти процесорності та паралельності звичайними запитами , які не блокаються амазоном - це займає 27 годин .
І навіть за цей час встигають появлятись нові категорії. А урли на деякі категорії і їх підкатегорії - уже будуть не актуальними. Тому, що або змінили свої урли , або ж уже не існують.
Тому в завдання потрібно вказувати- що зібрати якусь частину дерева категорій - в глиб стільки то нодів, в ширину - стільки то .
-
Evgeniy K
21 вересня 2023
Мене цікавить максимально глибоке та широке дерево (якщо якась частина категорій втратить актуальність це не проблема). За скільки ви б взялися за поставлене завдання з урахуванням необхідних даних?
-
Володимир Калач 21 вересня 2023пару років назад через amazon MWS (API)
був доступний звіт _GET_XML_BROWSE_TREE_DATA_
цей звіт віддавав список ВСІХ категорій на маркетплейсі.
наразі цей звіт застарів
( апі повертає відповідь<Message>Requested report type is deprecated in MWS</Message>
)
Актуальні фриланс-проєкти в категорії Парсинг даних
Доброго дня,Замовлю створення стабільного та надійного рішення для автоматичного моніторингу цін та доступності продуктів з конкретного, великого польського інтернет-магазину в галузі RTV/AGD.Мета проекту: Система повинна регулярно перевіряти вибрані продуктові посилання і у разі зміни ціни або статусу доступності надсилати сповіщення (найкраще через Telegram, Discord або електронну пошту – на узгодження).Виклик: Сайт магазину має дуже агресивні антибот-системи (Akamai/Cloudflare). Звичайні скрипти, що завантажують код сторінки, миттєво виявляються та блокуються. Рішення повинно ефективно обходити ці захисти, маскувати трафік бота та працювати стабільно в довгостроковій перспективі, без постійного виникнення помилок "Access Denied".Що я очікую від виконавця: Запропонувати повну архітектуру та технології (не нав'язую мову програмування чи конкретні інструменти). Надати готове рішення, яке я зможу легко запустити та ним керувати. Поради щодо інфраструктури (наприклад, які проксі будуть необхідні, щоб система працювала без проблем).У відповіді на оголошення, будь ласка, коротко опишіть: Який підхід/технологію ви пропонуєте, щоб ефективно та довгостроково обходити захисти цього магазину? Як ви бачите питання передачі сповіщень? Яка орієнтовна вартість виконання та час реалізації?Запрошую до подання пропозицій.
Про компанію Торговельна компанія. Працюємо з товарною групою більш ніж 2000 позицій за різними категоріями.Поточна ситуація Зараз номенклатура ведеться в Google Sheets — дані консолідовані за вкладками (категоріями). Структура вкладок: Назва товару Групи цін: собівартість, опт, роздріб Характеристики: вага, кількість в упаковці тощо. Важливо: кількість колонок відрізняється для різних категорій товарів, оскільки у них різні характеристики.Чому поточне рішення не підходить Google Sheets не дозволяє налаштовувати права доступу на рівні окремих колонок. Нам потрібно: Надавати користувачам права на перегляд певних колонок (наприклад, тільки собівартості) Надавати права на редагування певних колонок (наприклад, роздрібних цін) При цьому обмежувати доступ до інших колонок в тій же вкладціЩо потрібно зробитиОсновні вимоги Гнучка система розмежування прав Доступ на рівні окремих колонок (читання / запис) Призначення прав за ролями або користувачами Управління правами без участі програмістів Підтримка різної структури даних Різні категорії товарів мають різний набір характеристик Додавання нових колонок/характеристик без програмування Незалежність від розробників Адміністрування силами внутрішніх співробітників Додавання категорій, колонок, користувачів — через інтерфейс Інтеграція з ERP Вивантаження актуальних цін в нашу ERP-систему Експорт або автоматична інтеграція через API Аналіз даних за допомогою ШІ (бажано) Можливість аналізу всього переліку номенклатури Збагачення, перевірка, рекомендації — якщо у вас є ідеї, опишітьОчікуваний результат Працююче рішення, в якому: Номенклатура структурована за категоріями з різними наборами характеристик Права на колонки гнучко налаштовуються (перегляд / редагування) Дані вивантажуються в ERP Команда може управляти системою самостійноЩо потрібно від вас при відгуку Опишіть в загальних рисах, як ви бачите рішення: Який інструмент / платформу пропонуєте
Потрібно розробити просту програму або Telegram-бота для парсингу учасників чатів і обговорень каналів у Telegram. Функціонал: Користувач вводить посилання на канал або чат. Якщо вказано посилання на канал, програма повинна автоматично переходити в розділ «Обговорення» і виконувати парсинг саме учасників обговорення. В результаті необхідно вивантажувати тільки унікальні посилання на профілі користувачів без повторень. Додаткові вимоги до відбору: В вибірку повинні потрапляти тільки користувачі, у яких у профілі вказано власний публічний канал. Канал користувача повинен мати не менше 200 підписників. Користувачі з каналами меншого розміру не підходять. Потрібен максимально простий і зручний інструмент: достатньо вставити посилання і запустити збір даних за вказаними критеріями. Я не є програмістом, тому буду вдячний за оцінку реалізованості такого рішення і ваші пропозиції щодо оптимального способу розробки. Стандартні парсери нас не цікавлять — потрібна реалізація саме описаної вище логіки відбору. Відповідь на ваші пропозиції може бути протягом дня.
Добрий вечір, є задача: треба 1-2 раза на день перевіряти наявність і актуальність цін товарів які додані на сайт (сайт на платформі prom.ua) з сайту постачальника. Можете прорахувати ціну і як це буде виглядати.
Налаштувати автоматичне оновлення раз в день наявність товарів на нашому сайті на пром.юа. Маємо постачальника, він відправляє прайс лист товарів в ексель форматі на нашу електронну пошту кожен день. Артикули на нашому сайті та в прайсі постачальника однакові. Значення в стовпці "залишки" або немає в наявності, або число, або більше ящика - треба оновлювати на сайті в стан Готово до відправки або Немає в наявності. Артикули, що не немає в прайсі постачальника - залишати без змін. Запропонуйте будь ласка рішення, термін і бюджет. Дякую за відгук завчасно, чекаю фахівця для співпраці.