Andrii Shmagala
Winning proposal- Projects 55
- Rating -
- Rating 2 281
Budget: 3000 UAH Deadline: 3 days
Good day !
Solution by Python Selenium
I’ve been on Amazon and not once.
Proposals concealed
Proposals are currently absent
-
Volodimir Kalach 21 September 2023Можете надати приклад результату роботи.
наприклад 3 категорії та всю інформацыю по ним, яку ви хочете бачити.
дуже цікавить як інформація так і спосіб розміщення в таблиці. -
Volodimir Kalach 21 September 2023до речі.
на Amazon.DE станом на 2019-05-20 було 50576 категорій
на америці 172025 категорій. -
Evgeniy K
21 September 2023
Доброго дня!
Результат потрібен в .csv або json форматі (як зручніше вам).
Для кожної категорії потрібен - id, url, список фільтрів (json назва фільтра та список доступних опцій всередині), мінімальна, середня, та максимальна ціна на трьох видача - дефолтній, та за сортуваннями по ціні (числа), для кожної з трьох видач, що ми парсимо - json масив з товарів на ній (назва, зображення, url, ціна). Усі дані наявні на сторінці категорії, додатково парсити сторінки товарів не потрібно.
Якщо можливо також - кількість товарів в кожній категорії (можливо амазон десь вказує просто число).
Хм, можливо дійсно категорій більше - тоді і парсити теж більше потрібно ніж 25к категорій.
-
Volodimir Kalach 21 September 2023наданий Вами зразок (для 3х категрорій) з id, url, список фільтрів ...
зробить спілкування більш об"єктивним. -
Evgeniy K
22 September 2023
Ось приклад в JSON
{
"name": "Garden hoses",
"node_id": "553966",
"parent_node_id": "00001",
"link": "https://www.amazon.com/Garden-Hoss/b?ie=UTF8&node=553966",
"products_count": 1046,
"filters": {
"Featured Brands": [
"Flexzilla",
"Graco"
.....],
"Hose Length": [
"14 Feet & Under",
"15 to 24 Feet"
...
],
"Hose material": [
"Polyurethane",
"Rubber",
"Vinyl"
]
// *Інші фільтри з усіма варіантами відповідей*
},
"default_sort": { // дані з першої сторінки даної категорії з дефолтним сортуванням
"min_price": 2,
"max_price": 2,
"avg_price": 2,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"asc_sort": {// дані з першої сторінки даної категорії з сортуванням за зростанням ціни
"min_price": 34534,
"max_price": 356,
"avg_price": 22344,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"desc_sort": { // дані з першої сторінки даної категорії з сортуванням за зменшенням ціни
"min_price": 3,
"max_price": 4,
"avg_price": 6,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
// *інші наявні розміри зображення в картці товару*
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
}
}
-
Ivan Hrytskiv 21 September 2023Как результат, нужен примерно такой файл (это кстати актуальный полный список категорий амазона):
https://drive.google.com/file/d/1kI0X_XWwjuCvylnfJKeOu8IMurjDvrBW/view?usp=sharing
Це ви серйозно ?)))))))))))))))))))))))
це тілька маленька частина категорій амазону ))))))))))))
до повного списку тут ще кравлити і кравлити ))))))))) -
Evgeniy K
21 September 2023
да, уже понял, странно что этот список заявили как полный. Интересно, чего не хватает - в глубину или в ширину
-
Volodimir Kalach 21 September 2023я помилився. це в німеччині 172025 стільки категорій. в Америці дещо більше.
-
Ivan Hrytskiv 21 September 2023Наскільки я встиг подивитись - то , І в ширину і в глибину.
І якщо хтось Вам пропонує селеніумом парсити категорії - ну... це принаймі смішно і не рентабельно.
При мульти процесорності та паралельності звичайними запитами , які не блокаються амазоном - це займає 27 годин .
І навіть за цей час встигають появлятись нові категорії. А урли на деякі категорії і їх підкатегорії - уже будуть не актуальними. Тому, що або змінили свої урли , або ж уже не існують.
Тому в завдання потрібно вказувати- що зібрати якусь частину дерева категорій - в глиб стільки то нодів, в ширину - стільки то .
-
Evgeniy K
21 September 2023
Мене цікавить максимально глибоке та широке дерево (якщо якась частина категорій втратить актуальність це не проблема). За скільки ви б взялися за поставлене завдання з урахуванням необхідних даних?
-
Volodimir Kalach 21 September 2023пару років назад через amazon MWS (API)
був доступний звіт _GET_XML_BROWSE_TREE_DATA_
цей звіт віддавав список ВСІХ категорій на маркетплейсі.
наразі цей звіт застарів
( апі повертає відповідь<Message>Requested report type is deprecated in MWS</Message>
)
Current freelance projects in the category Data Parsing
Good morning,I will commission the creation of a stable and reliable solution for automatically monitoring prices and availability of products from a specific large Polish online store in the RTV/AGD sector.Project goal: The system must regularly check selected product links and, in case of a price change or availability status, send a notification (preferably via Telegram, Discord, or email – to be determined).Challenge: The store's website has very aggressive anti-bot systems (Akamai/Cloudflare). Ordinary scripts that fetch the page code are immediately detected and blocked. The solution must effectively bypass these protections, mask bot traffic, and operate stably over the long term, without constantly throwing "Access Denied" errors.What I expect from the contractor: Proposing a complete architecture and technology (I do not impose a programming language or specific tools). Delivering a ready-made solution that I can easily launch and manage. Suggestions regarding infrastructure (e.g., what proxies will be necessary for the system to operate smoothly).In response to the announcement, please briefly describe: What approach/technology do you propose to effectively and sustainably bypass the store's protections? How do you see the issue of sending notifications? What is the estimated cost of execution and time of completion?I invite you to submit your offers.
About the Company Trading company. We work with a product group of more than 2000 items across different categories.Current Situation Currently, the nomenclature is maintained in Google Sheets — data is consolidated by tabs (categories). Tab Structure: Product name Price groups: cost price, wholesale, retail Characteristics: weight, quantity per package, etc. Important: the number of columns varies for different product categories, as they have different characteristics.Why the Current Solution is Inadequate Google Sheets does not allow setting access rights at the level of individual columns. We need to: Grant users rights to view certain columns (for example, only cost prices) Grant rights to edit certain columns (for example, retail prices) While restricting access to other columns in the same tabWhat Needs to Be DoneMain Requirements Flexible Rights Management System Access at the level of individual columns (read/write) Assignment of rights by roles or users Management of rights without the involvement of programmers Support for Different Data Structures Different product categories have different sets of characteristics Adding new columns/characteristics without programming Independence from Developers Administration by internal staff Adding categories, columns, users — through the interface Integration with ERP Exporting current prices to our ERP system Export or automatic integration via API Data Analysis Using AI (preferably) Ability to analyze the entire nomenclature list Enrichment, verification, recommendations — if you have ideas, please describeExpected Result A working solution in which: The nomenclature is structured by categories with different sets of characteristics Column rights are flexibly configured (view/edit) Data is exported to ERP The team can manage the system independentlyWhat We Need from You When Responding Describe in general terms how you envision the solution: What tool/platform do you propose
A simple program or Telegram bot is required for parsing participants of chats and discussions in Telegram channels. Functionality: The user enters a link to the channel or chat. If a link to a channel is provided, the program should automatically navigate to the "Discussions" section and perform parsing specifically for discussion participants. The result should export only unique links to user profiles without duplicates. Additional selection requirements: Only users with their own public channel specified in their profile should be included. The user's channel must have at least 200 subscribers. Users with smaller channels are not suitable. A maximally simple and convenient tool is needed: just paste the link and start collecting data based on the specified criteria. I am not a programmer, so I would appreciate an assessment of the feasibility of such a solution and your suggestions for the optimal way to develop it. Standard parsers are not of interest to us — the implementation of the logic described above is required. Responses to your proposals may be within a day.
Good evening, there is a task: you need to check the availability and relevance of the prices of products added to the website (the website is on the prom.ua platform) from the supplier's site 1-2 times a day. Can you calculate the price and how it will look?
Set up automatic daily updates of product availability on our website on prom.ua. We have a supplier who sends a price list of products in Excel format to our email every day. The items on our website and in the supplier's price list are the same. The values in the "stock" column are either out of stock, a number, or more than a box - these need to be updated on the site to either Ready for shipment or Out of stock. Items that are not in the supplier's price list should remain unchanged. Please propose a solution, timeline, and budget. Thank you in advance for your response, I look forward to collaborating with a specialist.