Techniczne zadanie na agregator towarowych feedów w różnych formatach od różnych dostawców do jednego feedu

Cel

uzyskanie ujednoliconego YML-feedu z produktami od różnych dostawców do dalszego wykorzystania w sklepach internetowych (w szczególności na bazie Khoroszop).

Technologie

Stosowane technologie nie są kluczowe, ale potrzebna jest możliwość wdrożenia na tanim shared-hostingu lub lokalnym serwerze WWW.

Wymagania i funkcjonalności

1. Logowanie/Rejestracja. Potrzebna podstawowa funkcjonalność logowania za pomocą loginu (email) i hasła. Nowych użytkowników może dodawać tylko zalogowany użytkownik. Nie ma możliwości samodzielnej rejestracji. Formularz logowania jest zabezpieczony przez reCAPTCHA/Cloudflare (jeśli aplikacja jest wdrożona nie lokalnie).

2. Ustawienia wyjściowego feedu. Potrzebny interfejs, który pozwala:

   1. Ustawić strukturę (szablon) przyszłego pliku YML (z możliwością edytowania i zapisywania tej struktury).

   2. W tym samym dziale aplikacji webowej powinna być możliwość ustalania struktury (drzewa) kategorii produktów, ich edytowania i zapisywania.

3. Ustawienia źródeł / wejściowych feedów (dostawców).

   1. Musimy mieć możliwość tworzenia dowolnej liczby dostawców, i dla każdego z nich ustalania feedu.

   2. Feed może być w różnych formatach XML/YML/XLSX.

   3. Feed może być dostępny pod otwartym linkiem i ładowany automatycznie, jak i dołączany przez menedżera ręcznie (przez interfejs webowy).

   4. Powinna być możliwość podglądu feedu od dostawcy (zarówno w formacie strukturalnym, jak i w formacie tabeli), w celu ustawienia dalszych powiązań:

      1. Ustawić powiązanie między kategoriami dostawcy, a kategoriami wyjściowego pliku (które są ustalone w p.2.b)

      2. Uzyskać listę nazw wszystkich atrybutów (cech) produktu i ustawić nazwę dla każdego z nich w wyjściowym feedzie. (na przykład: Nazwa, Cena, Artykuł, Dostępność, Opis, Marka, Kolor, Kraj producenta, …), a także możliwość ustalenia ignorowania tego atrybutu (nie włączać atrybutu do wynikowego feedu).

      3. Ustawić unikalny identyfikator produktu dla tego feedu (id lub inny atrybut, na przykład “Artykuł”). Na podstawie tego pola będziemy w przyszłości śledzić duplikaty produktów od różnych dostawców.

      4. Jeśli feed jest w formacie XLSX to w jednej komórce mogą być wszystkie atrybuty produktu lub na przykład wszystkie obrazy produktu. Dlatego ważne jest przewidzenie możliwości post-processing takich komórek i podziału według separatora. (na przykład dla obrazów separatorem jest “,” a dla cech “;”, gdzie z kolei nazwa atrybutu i jego wartość są oddzielone kombinacją “:␣”).

      5. Wszystkie wymienione powyżej ustawienia dla źródła (feedu dostawcy) powinny być zapisywane.

      6. Przed każdym przetwarzaniem wejściowego feedu powinno odbywać się sprawdzenie ze zapisanymi ustawieniami w celu wykrycia nowych atrybutów, dla których nie ustalono powiązania. Jeśli takie atrybuty zostaną znalezione - wysłać powiadomienie na adresy e-mail wszystkich zarejestrowanych użytkowników.

4. Ustawienia przetwarzania.

   1. Na podstawie zapisanych ustawień każdego źródła/dostawcy, należy stworzyć listę wszystkich atrybutów i jeśli ten atrybut się powtarza, to dać możliwość ustalania priorytetów źródeł. Na przykład, jeśli dla hipotetycznego produktu Opis ustalono priorytet: Dostawca_2, Dostawca_3, Dostawca_1, wtedy przy formowaniu wyniku sprawdzamy czy jest ten Opis u Dostawcy_2, jeśli jest - wyświetlamy, jeśli nie ma, wtedy sprawdzamy u Dostawcy_3, itd.

   2. Cena formułowana jest na podstawie cechy “Dostępność”: spośród wszystkich dostawców, u których produkt jest dostępny wybieramy najniższą cenę.

   3. Przetwarzanie wejściowych feedów od dostawców powinno odbywać się w tle, z określonym przez ustawienia interwałem (Cronjob).

   4. Przetwarzanie wejściowych feedów można uruchomić ręcznie w dowolnym momencie.

   5. W przypadku błędów w procesie generowania wyniku - wysyłać e-mail do wszystkich użytkowników.