Parking categories of Amazon
67 USD https://drive.google.com/file/d/1kI0X_XWwjuCvylnfJKeOu8IMurjDvrBW/view?usp=sharing
In each line we add:
Node ID (Node ID)
* link to the page of this category
* List of filters available in the edition (filter names and options available inside)
* Minimum price in the issue of this category (for this individual request with sorting) + average price on the first page with such sorting
* maximum price in the issue of this category (for this individual request with sorting) + average price on the first page with such sorting
* average price on default issue category
* goods cards on the three pages of the issue that we parsim (id, image address of the product, name, price)
That is, for each category/drop you need to make 3 requests to obtain the issue (to obtain the default issue of the category, as well as with two sorting options by price).It turns out that if you know the URLs of categories, then 75k requests are enough to solve the assigned task.
Client's review of cooperation with Andrii Shmagala
Parking categories of AmazonMost of the work was done, the person was always in contact. In general, it is possible to work, but I recommend that the deadlines and criteria for completion of the order be stated as clear as possible.
Freelancer's review of cooperation with Evgeniy K
Parking categories of AmazonThanks for the work, the work lasted longer than I planned.
-
Можете надати приклад результату роботи.
наприклад 3 категорії та всю інформацыю по ним, яку ви хочете бачити.
дуже цікавить як інформація так і спосіб розміщення в таблиці. -
до речі.
на Amazon.DE станом на 2019-05-20 було 50576 категорій
на америці 172025 категорій. -
Доброго дня!
Результат потрібен в .csv або json форматі (як зручніше вам).
Для кожної категорії потрібен - id, url, список фільтрів (json назва фільтра та список доступних опцій всередині), мінімальна, середня, та максимальна ціна на трьох видача - дефолтній, та за сортуваннями по ціні (числа), для кожної з трьох видач, що ми парсимо - json масив з товарів на ній (назва, зображення, url, ціна). Усі дані наявні на сторінці категорії, додатково парсити сторінки товарів не потрібно.
Якщо можливо також - кількість товарів в кожній категорії (можливо амазон десь вказує просто число).
Хм, можливо дійсно категорій більше - тоді і парсити теж більше потрібно ніж 25к категорій.
-
наданий Вами зразок (для 3х категрорій) з id, url, список фільтрів ...
зробить спілкування більш об"єктивним. -
Ось приклад в JSON
{
"name": "Garden hoses",
"node_id": "553966",
"parent_node_id": "00001",
"link": "https://www.amazon.com/Garden-Hoss/b?ie=UTF8&node=553966",
"products_count": 1046,
"filters": {
"Featured Brands": [
"Flexzilla",
"Graco"
.....],
"Hose Length": [
"14 Feet & Under",
"15 to 24 Feet"
...
],
"Hose material": [
"Polyurethane",
"Rubber",
"Vinyl"
]
// *Інші фільтри з усіма варіантами відповідей*
},
"default_sort": { // дані з першої сторінки даної категорії з дефолтним сортуванням
"min_price": 2,
"max_price": 2,
"avg_price": 2,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"asc_sort": {// дані з першої сторінки даної категорії з сортуванням за зростанням ціни
"min_price": 34534,
"max_price": 356,
"avg_price": 22344,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"desc_sort": { // дані з першої сторінки даної категорії з сортуванням за зменшенням ціни
"min_price": 3,
"max_price": 4,
"avg_price": 6,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
// *інші наявні розміри зображення в картці товару*
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
}
}
-
Как результат, нужен примерно такой файл (это кстати актуальный полный список категорий амазона):
https://drive.google.com/file/d/1kI0X_XWwjuCvylnfJKeOu8IMurjDvrBW/view?usp=sharing
Це ви серйозно ?)))))))))))))))))))))))
це тілька маленька частина категорій амазону ))))))))))))
до повного списку тут ще кравлити і кравлити ))))))))) -
да, уже понял, странно что этот список заявили как полный. Интересно, чего не хватает - в глубину или в ширину
-
я помилився. це в німеччині 172025 стільки категорій. в Америці дещо більше.
-
Наскільки я встиг подивитись - то , І в ширину і в глибину.
І якщо хтось Вам пропонує селеніумом парсити категорії - ну... це принаймі смішно і не рентабельно.
При мульти процесорності та паралельності звичайними запитами , які не блокаються амазоном - це займає 27 годин .
І навіть за цей час встигають появлятись нові категорії. А урли на деякі категорії і їх підкатегорії - уже будуть не актуальними. Тому, що або змінили свої урли , або ж уже не існують.
Тому в завдання потрібно вказувати- що зібрати якусь частину дерева категорій - в глиб стільки то нодів, в ширину - стільки то .
-
Мене цікавить максимально глибоке та широке дерево (якщо якась частина категорій втратить актуальність це не проблема). За скільки ви б взялися за поставлене завдання з урахуванням необхідних даних?
-
пару років назад через amazon MWS (API)
був доступний звіт _GET_XML_BROWSE_TREE_DATA_
цей звіт віддавав список ВСІХ категорій на маркетплейсі.
наразі цей звіт застарів
( апі повертає відповідь<Message>Requested report type is deprecated in MWS</Message>
)
-
Current freelance projects in the category Data Parsing
Consultation on parsing Instagram account subscribersHello. It is necessary to conduct a preliminary assessment of the feasibility of the following task. I have a list of Instagram accounts. The goal is to obtain contact information (primarily email addresses) of users who follow these accounts. Previously, I encountered companies… Data Parsing ∙ 2 days 12 hours back ∙ 12 proposals |
A specialist is needed to find contacts of decision-makers in Ukraine.It is necessary to gather a database (or ready database) of contacts of decision-makers (DMs) in companies in Ukraine. Information Gathering, Data Parsing ∙ 2 days 17 hours back ∙ 17 proposals |
Need to scrape data from LinkedIn
We need to scrape data from LinkedIn based on our list. For each entry, we need to find and collect available data if it exists on the LinkedIn profile, including the profile picture on the LinkedIn social network, email address, links to social media, company website, and… Data Parsing ∙ 2 days 22 hours back ∙ 27 proposals |
Parsing and classification of data
We are looking for a developer to implement a system for collecting and structuring data from open sources. We have a database of small business owners in the USA, which contains the person's name, company name, address, and state. It is necessary to build a process for… Web Programming, Data Parsing ∙ 3 days back ∙ 41 proposals |
Svitlahata
17 USD
It is necessary to import 1819 products from the XML/YML feed of Prom.ua to OpenCart 3. A ready XML file is available, which contains product names, descriptions, prices, photos, specifications, manufacturers, and categories. Requirements: import all products to OpenCart… Content Management Systems, Data Parsing ∙ 4 days 3 hours back ∙ 34 proposals |
Kyiv