Andrii Shmagala
Переможець- Проєкти 55
- Оцінка -
- Рейтинг 2 283
Бюджет: 3000 UAH Термін: 3 дні
Доброго дня!
Спаршу категорій за допоогою python selenium
вже парсив amazon і не один раз
Ставки поки відсутні
-
Володимир Калач 21 вересня 2023Можете надати приклад результату роботи.
наприклад 3 категорії та всю інформацыю по ним, яку ви хочете бачити.
дуже цікавить як інформація так і спосіб розміщення в таблиці. -
Володимир Калач 21 вересня 2023до речі.
на Amazon.DE станом на 2019-05-20 було 50576 категорій
на америці 172025 категорій. -
Evgeniy K
21 вересня 2023
Доброго дня!
Результат потрібен в .csv або json форматі (як зручніше вам).
Для кожної категорії потрібен - id, url, список фільтрів (json назва фільтра та список доступних опцій всередині), мінімальна, середня, та максимальна ціна на трьох видача - дефолтній, та за сортуваннями по ціні (числа), для кожної з трьох видач, що ми парсимо - json масив з товарів на ній (назва, зображення, url, ціна). Усі дані наявні на сторінці категорії, додатково парсити сторінки товарів не потрібно.
Якщо можливо також - кількість товарів в кожній категорії (можливо амазон десь вказує просто число).
Хм, можливо дійсно категорій більше - тоді і парсити теж більше потрібно ніж 25к категорій.
-
Володимир Калач 21 вересня 2023наданий Вами зразок (для 3х категрорій) з id, url, список фільтрів ...
зробить спілкування більш об"єктивним. -
Evgeniy K
22 вересня 2023
Ось приклад в JSON
{
"name": "Garden hoses",
"node_id": "553966",
"parent_node_id": "00001",
"link": "https://www.amazon.com/Garden-Hoss/b?ie=UTF8&node=553966",
"products_count": 1046,
"filters": {
"Featured Brands": [
"Flexzilla",
"Graco"
.....],
"Hose Length": [
"14 Feet & Under",
"15 to 24 Feet"
...
],
"Hose material": [
"Polyurethane",
"Rubber",
"Vinyl"
]
// *Інші фільтри з усіма варіантами відповідей*
},
"default_sort": { // дані з першої сторінки даної категорії з дефолтним сортуванням
"min_price": 2,
"max_price": 2,
"avg_price": 2,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"asc_sort": {// дані з першої сторінки даної категорії з сортуванням за зростанням ціни
"min_price": 34534,
"max_price": 356,
"avg_price": 22344,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"desc_sort": { // дані з першої сторінки даної категорії з сортуванням за зменшенням ціни
"min_price": 3,
"max_price": 4,
"avg_price": 6,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
// *інші наявні розміри зображення в картці товару*
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
}
}
-
Ivan Hrytskiv 21 вересня 2023Как результат, нужен примерно такой файл (это кстати актуальный полный список категорий амазона):
https://drive.google.com/file/d/1kI0X_XWwjuCvylnfJKeOu8IMurjDvrBW/view?usp=sharing
Це ви серйозно ?)))))))))))))))))))))))
це тілька маленька частина категорій амазону ))))))))))))
до повного списку тут ще кравлити і кравлити ))))))))) -
Evgeniy K
21 вересня 2023
да, уже понял, странно что этот список заявили как полный. Интересно, чего не хватает - в глубину или в ширину
-
Володимир Калач 21 вересня 2023я помилився. це в німеччині 172025 стільки категорій. в Америці дещо більше.
-
Ivan Hrytskiv 21 вересня 2023Наскільки я встиг подивитись - то , І в ширину і в глибину.
І якщо хтось Вам пропонує селеніумом парсити категорії - ну... це принаймі смішно і не рентабельно.
При мульти процесорності та паралельності звичайними запитами , які не блокаються амазоном - це займає 27 годин .
І навіть за цей час встигають появлятись нові категорії. А урли на деякі категорії і їх підкатегорії - уже будуть не актуальними. Тому, що або змінили свої урли , або ж уже не існують.
Тому в завдання потрібно вказувати- що зібрати якусь частину дерева категорій - в глиб стільки то нодів, в ширину - стільки то .
-
Evgeniy K
21 вересня 2023
Мене цікавить максимально глибоке та широке дерево (якщо якась частина категорій втратить актуальність це не проблема). За скільки ви б взялися за поставлене завдання з урахуванням необхідних даних?
-
Володимир Калач 21 вересня 2023пару років назад через amazon MWS (API)
був доступний звіт _GET_XML_BROWSE_TREE_DATA_
цей звіт віддавав список ВСІХ категорій на маркетплейсі.
наразі цей звіт застарів
( апі повертає відповідь<Message>Requested report type is deprecated in MWS</Message>
)
Актуальні фриланс-проєкти в категорії Парсинг даних
-
Не вказано
Автоматичний моніторинг вільних талонів на практичний іспит з водіння (eqn.hsc.gov.ua)
Розробка ботів 13 ставок 4 серпня
-
Не вказано
Парсинг каталогу товарів у універсальний Excel/XML (UA/RU) під Prom.ua, Хорошоп та інші CMS
43 ставки 4 серпня
-
Не вказано
Збір телефонів з olx.pl
36 ставок 3 серпня
-
Не вказано
Парсер Авторіа
72 ставки 2 серпня
-
Не вказано
API Reddit
Веб-програмування 30 ставок 30 липня