Parser do zbierania danych z Rozetki oceny produktów

Konieczne jest stworzenie parsera do zbierania danych z Rozetki i wypełniania ich w tabeli.

Przykład tabeli pod linkiem:

https://docs.google.com/spreadsheets/d/10OBPfu2OBPaCrDNnBdFAtuNpCJcxpOSRF8D8F5QZe74/edit?gid=2057461380#gid=2057461380

Tabela jest potrzebna do analizy rankingu produktów w wynikach Rozetki. W tabeli jako przykład dodano 4 produkty. W rzeczywistości produktów może być dowolna liczba.

Kolumny A, B – obowiązkowe do wypełnienia, ich wartości wypełnia człowiek. Kolumny C, D, E wypełnia parser. Kolumny F, G są opcjonalne i mogą być dowolnej liczby lub nie być wcale, są tworzone przez człowieka z dowolnymi nagłówkami i wartościami. Kolumny H i dalej w prawo wypełnia parser.

Kolumna „Zapytanie wyszukiwania” - zapytanie, które jest wprowadzane w wyszukiwarkę.

Kolumna „Nazwa produktu” - nazwa produktu pod linkiem.

Kolumna „Kategoria produktu” - nazwa końcowej kategorii produktu (przykład na zrzucie ekranu).

Kolumna „Kategoria tak/nie”. Jeśli zapytanie wyszukiwania prowadzi do kategorii produktu, przykład linku https://bt.rozetka.com.ua/ua/252133/c252133/, to wartość „tak”, jeśli nie prowadzi, a zapytanie pozostaje wyszukiwawcze, przykład linku https://rozetka.com.ua/ua/search/?text=%D1%84%D0%BE%D1%82%D0%BE%D0%B5%D0%BF%D1%96%D0%BB%D1%8F%D1%82%D0%BE%D1%80&section_id=252133&redirected=1, to wartość „nie”.

Kolumna „Wyszukiwanie”. Dla każdego zapytania wyszukiwania w tabeli wypełniane jest miejsce w rankingu wyników. Zabarwiane na zielono, jeśli miejsce od 1 do 5, na żółto, jeśli miejsce od 6 do 20, na pomarańczowo, jeśli miejsce poniżej 21, ale na pierwszej stronie, na czerwono, jeśli produkt jest na drugiej stronie i niżej. Jeśli produkt nie został znaleziony, to wstawia się znak minus i kolor czerwony. W wynikach produktów są miejsca reklamowe, oznaczone słowem „Reklama” (przykład na zrzucie ekranu), jeśli produkt ma takie miejsce, to do liczby dodaje się „rek”.

Kolumna „Reklama”. Dla każdego zapytania wyszukiwania w tabeli wypełniane jest miejsce w reklamowych wynikach na stronie od lewej do prawej, jeśli produktu nie ma, to wskazuje się znak minus, w nawiasach liczba ofert reklamowych na stronie. Zabarwiane na zielono, jeśli 1 produkt w top 10, na żółto, jeśli poniżej 10 miejsca, ale jest w reklamie, na czerwono, jeśli w reklamowych wynikach nie ma. Reklamowe wyniki znajdują się w kartach produktów (przykład na zrzucie ekranu), parser sprawdza w pierwszej karcie organicznych wyników. Jeśli w pierwszej karcie reklamowych wyników nie ma, to sprawdza w drugiej, jeśli w niej nie ma, to w trzeciej, jeśli w trzeciej nie ma, wstawia wartość „-” i kolorem nie oznacza.

Kolumna „Top sprzedaży”. Jeśli na karcie wskazano „Top sprzedaży” (przykład na zrzucie ekranu) - wartość „tak” na zielono, jeśli nie, to wartość „nie” na żółto. Jeśli karta ma miejsce reklamowe w organicznych wynikach, to „Top sprzedaży” może nie być pokazane w wynikach, a tylko w karcie, wtedy należy spojrzeć w karcie (przykład na zrzucie ekranu).

Parser zbiera dane w tabeli codziennie dla wszystkich produktów wprowadzonych do tabeli, w czasie, który wskazuje człowiek podczas konfiguracji. Historia parsowania powinna być przechowywana, to znaczy do tabeli dodawane są nowe dane, a stare pozostają w niej. Jeśli tabela się skończy, tworzy się druga taka sama, a parser ją wypełnia. Stare tabele są wszystkie przechowywane.

W ustawieniach parsowania człowiek wskazuje liczbę stron wyników do zbierania danych. Przy dodawaniu linków do produktów powinna być możliwość dodawania listą linków. Produkty są umieszczane w tabeli od góry do dołu według alfabetu pierwszej litery nazwy.

Parser powinien działać w trybie Incognito, aby historia i ciasteczka nie przeszkadzały parserowi w widzeniu poprawnych wyników produktów.

Konieczne jest zrobienie dostępu przez przeglądarkę internetową przez login i hasło. Użytkownik sam rejestruje się przez dowolny login, hasło, a admin potwierdza jego rejestrację, a wtedy użytkownik uzyskuje dostęp. W razie potrzeby admin usuwa użytkownika, a dostęp użytkownika znika. Liczba użytkowników jest nieograniczona.

Po wykonaniu i zaakceptowaniu projektu potrzebne jest jego wsparcie w przyszłości, aby parser działał bez błędów.