Andrii Shmagala
Oferta, która wygrała- Zlecenia 55
- Ocena -
- Ranking 2 281
Budżet: 3000 UAH Termin: 3 dni
Dzień dobry !
Podręcznik dla python selenium
Amazon i nie raz.
Oferty ukryte
Aktualnie brak ofert
-
Volodimir Kalach 21 wrzesnia 2023Можете надати приклад результату роботи.
наприклад 3 категорії та всю інформацыю по ним, яку ви хочете бачити.
дуже цікавить як інформація так і спосіб розміщення в таблиці. -
Volodimir Kalach 21 wrzesnia 2023до речі.
на Amazon.DE станом на 2019-05-20 було 50576 категорій
на америці 172025 категорій. -
Evgeniy K
21 wrzesnia 2023
Доброго дня!
Результат потрібен в .csv або json форматі (як зручніше вам).
Для кожної категорії потрібен - id, url, список фільтрів (json назва фільтра та список доступних опцій всередині), мінімальна, середня, та максимальна ціна на трьох видача - дефолтній, та за сортуваннями по ціні (числа), для кожної з трьох видач, що ми парсимо - json масив з товарів на ній (назва, зображення, url, ціна). Усі дані наявні на сторінці категорії, додатково парсити сторінки товарів не потрібно.
Якщо можливо також - кількість товарів в кожній категорії (можливо амазон десь вказує просто число).
Хм, можливо дійсно категорій більше - тоді і парсити теж більше потрібно ніж 25к категорій.
-
Volodimir Kalach 21 wrzesnia 2023наданий Вами зразок (для 3х категрорій) з id, url, список фільтрів ...
зробить спілкування більш об"єктивним. -
Evgeniy K
22 wrzesnia 2023
Ось приклад в JSON
{
"name": "Garden hoses",
"node_id": "553966",
"parent_node_id": "00001",
"link": "https://www.amazon.com/Garden-Hoss/b?ie=UTF8&node=553966",
"products_count": 1046,
"filters": {
"Featured Brands": [
"Flexzilla",
"Graco"
.....],
"Hose Length": [
"14 Feet & Under",
"15 to 24 Feet"
...
],
"Hose material": [
"Polyurethane",
"Rubber",
"Vinyl"
]
// *Інші фільтри з усіма варіантами відповідей*
},
"default_sort": { // дані з першої сторінки даної категорії з дефолтним сортуванням
"min_price": 2,
"max_price": 2,
"avg_price": 2,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"asc_sort": {// дані з першої сторінки даної категорії з сортуванням за зростанням ціни
"min_price": 34534,
"max_price": 356,
"avg_price": 22344,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
},
"desc_sort": { // дані з першої сторінки даної категорії з сортуванням за зменшенням ціни
"min_price": 3,
"max_price": 4,
"avg_price": 6,
"items": [
{
"id": "B014M9PEXC",
"name": "zero-G 4001-100 Garden Hose, 5/8 x 100', Gray",
"link": "https://www.amazon.com/4001-50-Lightweight-Flexible-Durable-Kink-Free/dp/B014M9PEXC/",
"imgs": {
"1x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"1.5x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg",
"2x" : "https://m.media-amazon.com/images/I/81Z8yBjgfaL._AC_UL320_.jpg"
// *інші наявні розміри зображення в картці товару*
},
"price": "126"
}
// *Інші доступні товари на першій сторінці за даним сортуванням*
]
}
}
-
Ivan Hrytskiv 21 wrzesnia 2023Как результат, нужен примерно такой файл (это кстати актуальный полный список категорий амазона):
https://drive.google.com/file/d/1kI0X_XWwjuCvylnfJKeOu8IMurjDvrBW/view?usp=sharing
Це ви серйозно ?)))))))))))))))))))))))
це тілька маленька частина категорій амазону ))))))))))))
до повного списку тут ще кравлити і кравлити ))))))))) -
Evgeniy K
21 wrzesnia 2023
да, уже понял, странно что этот список заявили как полный. Интересно, чего не хватает - в глубину или в ширину
-
Volodimir Kalach 21 wrzesnia 2023я помилився. це в німеччині 172025 стільки категорій. в Америці дещо більше.
-
Ivan Hrytskiv 21 wrzesnia 2023Наскільки я встиг подивитись - то , І в ширину і в глибину.
І якщо хтось Вам пропонує селеніумом парсити категорії - ну... це принаймі смішно і не рентабельно.
При мульти процесорності та паралельності звичайними запитами , які не блокаються амазоном - це займає 27 годин .
І навіть за цей час встигають появлятись нові категорії. А урли на деякі категорії і їх підкатегорії - уже будуть не актуальними. Тому, що або змінили свої урли , або ж уже не існують.
Тому в завдання потрібно вказувати- що зібрати якусь частину дерева категорій - в глиб стільки то нодів, в ширину - стільки то .
-
Evgeniy K
21 wrzesnia 2023
Мене цікавить максимально глибоке та широке дерево (якщо якась частина категорій втратить актуальність це не проблема). За скільки ви б взялися за поставлене завдання з урахуванням необхідних даних?
-
Volodimir Kalach 21 wrzesnia 2023пару років назад через amazon MWS (API)
був доступний звіт _GET_XML_BROWSE_TREE_DATA_
цей звіт віддавав список ВСІХ категорій на маркетплейсі.
наразі цей звіт застарів
( апі повертає відповідь<Message>Requested report type is deprecated in MWS</Message>
)
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
konieczne jest zorganizowanie sposobu zbierania nowo utworzonych FOP-ów oraz, jeśli to możliwe, TOW. czy to ma być parsowanie, czy coś innego - powiedzcie, jaki to ma być sposób
Dzień dobry,Zlecę stworzenie stabilnego i niezawodnego rozwiązania do automatycznego monitorowania cen oraz dostępności produktów z konkretnego, dużego polskiego sklepu internetowego z branży RTV/AGD.Cel projektu: System musi regularnie sprawdzać wybrane linki produktowe i w przypadku zmiany ceny lub statusu dostępności, wysłać powiadomienie (najchętniej na Telegram, Discord lub e-mail – do ustalenia).Wyzwanie: Strona sklepu posiada bardzo agresywne systemy antybotowe (Akamai/Cloudflare). Zwykłe skrypty pobierające kod strony są natychmiast wykrywane i blokowane. Rozwiązanie musi skutecznie omijać te zabezpieczenia,maskować ruch bota i działać stabilnie w dłuższej perspektywie, bez ciągłego wywalania błędów "Access Denied".Czego oczekuję od wykonawcy: Zaproponowania kompletnej architektury i technologii (nie narzucam języka programowania ani konkretnych narzędzi). Dostarczenia gotowego rozwiązania, które będę mógł łatwo uruchomić i nim zarządzać. Podpowiedzi w kwestii infrastruktury (np. jakie proxy będą niezbędne, aby system działał bezproblemowo).W odpowiedzi na ogłoszenie proszę krótko opisać: Jakie podejście/technologię proponujesz, aby skutecznie i długofalowo omijać zabezpieczenia tego sklepu? Jak widzisz kwestię przekazywania powiadomień? Jaki jest orientacyjny koszt wykonania oraz czas realizacji?Zapraszam do składania ofert.
O firmie Firma handlowa. Pracujemy z grupą towarową liczącą ponad 2000 pozycji w różnych kategoriach.Aktualna sytuacja Obecnie nomenklatura jest prowadzona w Google Sheets — dane są skonsolidowane według zakładek (kategorii). Struktura zakładek: Nazwa towaru Grupy cen: koszt własny, hurt, detal Charakterystyki: waga, ilość w opakowaniu itd. Ważne: liczba kolumn różni się w zależności od kategorii towarów, ponieważ mają one różne charakterystyki.Dlaczego obecne rozwiązanie nie jest odpowiednie Google Sheets nie pozwala na ustawienie praw dostępu na poziomie poszczególnych kolumn. Potrzebujemy: Przyznawania użytkownikom praw do wyświetlania określonych kolumn (na przykład tylko kosztów własnych) Przyznawania praw do edycji określonych kolumn (na przykład cen detalicznych) Ograniczenia dostępu do pozostałych kolumn w tej samej zakładceCo należy zrobićPodstawowe wymagania Elastyczny system rozgraniczenia praw Dostęp na poziomie poszczególnych kolumn (odczyt / zapis) Przydzielanie praw według ról lub użytkowników Zarządzanie prawami bez udziału programistów Wsparcie dla różnych struktur danych Różne kategorie towarów mają różny zestaw charakterystyk Dodawanie nowych kolumn/charakterystyk bez programowania Niepodległość od programistów Administracja przez wewnętrznych pracowników Dodawanie kategorii, kolumn, użytkowników — przez interfejs Integracja z ERP Eksport aktualnych cen do naszego systemu ERP Eksport lub automatyczna integracja przez API Analiza danych z wykorzystaniem AI (pożądane) Możliwość analizy całej listy nomenklatury Ubogacanie, weryfikacja, rekomendacje — jeśli masz pomysły, opiszOczekiwany rezultat Działające rozwiązanie, w którym: Nomenklatura jest zorganizowana według kategorii z różnymi zestawami charakterystyk Prawa do kolumn są elastycznie konfigurowane (wyświetlanie / edytowanie) Dane są eksportowane do ERP Zespół może samodzielnie zarządzać systememCo potrzebujemy od Ciebie przy odpowiedzi Opisz w ogólnych zarysach, jak widzisz rozwiązanie: Jakie narzędzie / platformę proponujesz
Wymagana jest разработка простego programu lub bota Telegram do parsowania uczestników czatów i dyskusji kanałów w Telegramie. Funkcjonalność: Użytkownik wprowadza link do kanału lub czatu. Jeśli podany jest link do kanału, program powinien automatycznie przejść do sekcji „Dyskusje” i wykonać parsowanie uczestników dyskusji. W rezultacie należy wyeksportować tylko unikalne linki do profili użytkowników bez powtórzeń. Dodatkowe wymagania dotyczące selekcji: Wybór powinien obejmować tylko użytkowników, którzy w swoim profilu mają podany własny publiczny kanał. Kanał użytkownika musi mieć co najmniej 200 subskrybentów. Użytkownicy z kanałami mniejszymi nie są odpowiedni. Potrzebne jest maksymalnie proste i wygodne narzędzie: wystarczy wkleić link i uruchomić zbieranie danych według podanych kryteriów. Nie jestem programistą, dlatego będę wdzięczny za ocenę wykonalności takiego rozwiązania i wasze propozycje dotyczące optymalnego sposobu rozwoju. Standardowe parsery nas nie interesują — wymagana jest realizacja dokładnie opisanej powyżej logiki selekcji. Odpowiedź na wasze propozycje może być w ciągu dnia.
Dobry wieczór, jest zadanie: trzeba 1-2 razy dziennie sprawdzać dostępność i aktualność cen towarów, które zostały dodane na stronę (strona na platformie prom.ua) z strony dostawcy. Możecie obliczyć cenę i jak to będzie wyglądać.