Консультация по парсингу данных

Potrzebny specjalista do zbierania i strukturyzowania otwartych informacji o sprzedawcach z marketplace'ów. Konieczne jest określenie możliwości automatycznego zbierania danych oraz utworzenie bazy sprzedawców. W odpowiedzi proszę podać: z jakimi marketplace'ami masz doświadczenie; jakie dane możesz uzyskać (nazwa sprzedawcy, link, kategorie, ocena, liczba produktów, inne dostępne pola); przykłady podobnych projektów.

Specyfikacja techniczna Projekt Ustawienie zawartości i synchronizacji dwóch sklepów Prom.ua z dostawcami części samochodowych. Zadanie Wymagana jest realizacja załadunku i aktualizacji produktów od dostawców części samochodowych dla dwóch sklepów internetowych na Prom.ua. ⸻ 1. Podłączenie dostawców Wymagana jest integracja dostawców poprzez: API dostawcy; cenniki XML, CSV, XLS; lub inny dostępny sposób pozyskiwania produktów z witryny dostawcy. Ważne jest zapewnienie pełnej synchronizacji produktów między dostawcą a sklepami Prom.ua. ⸻ 2. Filtrowanie i wybór produktów Wymagana jest realizacja możliwości wyboru produktów podczas importu według następujących parametrów: marka samochodu; kategoria części; podkategoria części; inne dostępne cechy. Przykład: Dla każdego sklepu powinna być możliwość oddzielnego określenia, które kategorie produktów i które marki samochodów należy załadować. Dodatkowe wymagania dotyczące wyboru produktów Wymagana jest realizacja możliwości wyboru produktów podczas importu nie tylko według marek samochodów i kategorii części, ale także według statusu dostępności produktu. Powinna być możliwość skonfigurowania takich scenariuszy: importować tylko produkty, które są dostępne u dostawcy; nie importować produktów ze statusem „brak w magazynie”; wyłączać lub usuwać produkty z Prom.ua po ich zniknięciu z dostępności u dostawcy; Podczas ustawiania cen powinno być możliwe łączenie filtrów: według marki samochodu; według kategorii części; według podkategorii; według dostępności produktu. Przykład: Importować tylko części do Volkswagen i Audi, kategoria „Układ hamulcowy”, które są dostępne u dostawcy. Wymagana jest również realizacja mechanizmu zapobiegania duplikacji produktów od różnych dostawców. Jeśli ten sam produkt jest dostępny u kilku dostawców, do katalogu powinien być importowany tylko jeden zapis produktu. Kryteria wyboru produktu przy wykrywaniu duplikatów: priorytet ma produkt, który jest dostępny u dostawcy; jeśli produkt jest dostępny u kilku dostawców, priorytet ma produkt z najniższą ceną; jeśli najtańszy produkt nie jest dostępny, system powinien wybrać najtańszy produkt spośród tych, które są dostępne; produkty-duplikaty od innych dostawców nie powinny tworzyć oddzielnych pozycji w katalogu. Przykład: Importować tylko części do Volkswagen i Audi, kategoria „Układ hamulcowy”, które są dostępne u dostawcy. Jeśli ta sama część jest dostępna u kilku dostawców, do katalogu importowana jest tylko jedna pozycja — od dostawcy z najniższą ceną spośród tych, u których produkt jest dostępny. ⸻ 3. Import kart produktów Podczas importu powinny być automatycznie załadowane: nazwa produktu; numer katalogowy; zdjęcia; opis produktu; cena; cechy produktu; producent; inne dostępne parametry. ⸻ 4. Aktualizacja Wymagana jest konfiguracja automatycznego: aktualizacji cen przy zmianie od dostawcy ⸻ 5. Usuwanie brakujących produktów Produkty, które nie są już dostępne u dostawcy, powinny: być wyłączane; lub być usuwane z Prom.ua (po uzgodnieniu). ⸻ 6. Zapełnienie sklepów Wymagane jest: stworzenie struktury kategorii; stworzenie podkategorii; prawidłowe przypisanie produktów do kategorii; sprawdzenie poprawności importu produktów. ⸻ 7. Wynik pracy Po zakończeniu prac powinno być: podłączeni dostawcy; ustawiony import produktów; ustawiona aktualizacja cen; ustawione dodawanie nowych produktów; ustawione wyłączanie lub usuwanie brakujących produktów; sklepy Prom.ua w pełni zapełnione i gotowe do pracy.

Należy stworzyć bota Telegram do automatycznego wyszukiwania i monitorowania samochodów "BUY IT NOW" na aukcjach w USA (Copart, IAAI). Bot powinien działać w trybie automatycznym i wysyłać powiadomienia o nowych samochodach, które odpowiadają zadanym filtrom.Podstawowa funkcjonalnośćUstawienia filtrów: 1. Marka samochodu; 2. Model; 3. Rok produkcji (od/do); 4. Typ paliwa; 5. Pojemność silnika; 6. Przebieg; 7. Zakres cenowy; Funkcje bota: 1. Automatyczne monitorowanie nowych aukcji; 2. Sprawdzanie aktualizacji co 1-2 minuty; 3. Ochrona przed powtarzającymi się powiadomieniami (antyduplikat); 4. Możliwość dodawania i usuwania filtrów przez menu bota; 5. Zachowanie ustawień już istniejącego wyszukiwania samochodów. Format wiadomości: 1. Zdjęcie samochodu (4-zdjęcia); 2. Nazwa i numer aukcji; 3. Rok produkcji; 4. Przebieg; 5. Typ silnika i pojemność; 6. Cena buy it now; 7. Link do aukcji.

Wydobyć pełny katalog tych stron: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Wszystkie produkty muszą być połączone w jedną wspólną tabelę do importu do WP. Każdy produkt powinien być w dwóch językach (UA+RU). Są również produkty wariacyjne, które powinny być zachowane jako wariacje w podstawowej funkcjonalności WP. Import na stronę jest możliwy zarówno przez wtyczki, jak i rozwiązania niestandardowe, dlatego format tabeli może być omawiany