Budżet: 27000 UAH Termin: 7 dni
Ocena - 35 000 UAH, termin - 7 dni po uzyskaniu dostępu do specyfikacji i przykładu kodu.
W przypadku tego zadania nie robiłbym czterech rozdzielnych skryptów, a ogólny ciąg przetwarzania - ładowanie, proxy, analiza, normalizacja, deduplikacja, haszowanie po 3 polach, eksport i logowanie błędów. Zobaczcie, tu jest niuans - proxy i ochrona katalogów często zajmują więcej czasu niż sama analiza stron, dlatego sprawdzę to na pierwszych 1-2 stronach.
Pytania
> jakie dokładnie katalogi i jaki format wyjściowy jest potrzebny - CSV, baza, API czy plik dla waszego systemu
> deduplikacja musi być robiona tylko wewnątrz jednego serwisu czy między wszystkimi 4 źródłami
Podobne przykłady Ingello
> https://business.ingello.com/prime-eva - podobne w pracy z danymi produktowymi i automatyzacją operacyjną
> https://business.ingello.com/vorfahr - bliskie pod względem integracji, ciągów przetwarzania i danych
> https://systems-fl.ingello.com - strona główna dotycząca rozwoju systemów
Na początek potrzebne są specyfikacje, przykład kodu, testowe proxy lub wymagania dotyczące nich, format wyniku i kryteria, według których uznajemy zapis za duplikat. Ogólnie w porządku, nie ma co komplikować - najpierw robimy stabilne jądro, a potem podłączamy 4 źródła =)