Parser danych API Freelancehunt

Dla systemu Freelancehunt Radar zrealizowałem oddzielny serwerowy kontur pozyskiwania danych przez oficjalne API platformy.

Ten mechanizm działa z odpowiedziami JSON API i przekształca je w wewnętrzną strukturę systemu.

Jakie dane są przetwarzane
nowe projekty;
opisy i budżety;
kategorie i umiejętności;
klienci;
liczba ofert;
statusy projektów;
korespondencje;
wiadomości;
moje zgłoszenia;
strumień projektów;
profile;
opinie;
słowniki umiejętności i kategorii.
Jak działa system
Freelancehunt API
→ pozyskiwanie JSON
→ analiza odpowiedzi
→ przekształcanie zagnieżdżonych pól
→ normalizacja
→ usuwanie duplikatów
→ aktualizacja istniejących rekordów
→ zapis w SQLite
→ filtrowanie i scoring

Zrealizowałem:

klient HTTP dla Freelancehunt API v2;
autoryzację Bearer;
kontrolę dozwolonych zapytań API;
paginację;
automatyczną synchronizację;
obsługę limitów API;
ponowne aktualizowanie projektów;
deduplikację według ID;
lokalne cachowanie;
przechowywanie oryginalnych odpowiedzi API;
scoring projektów według relewantności.

System automatycznie zbiera nowe projekty, ocenia je i pokazuje odpowiednie opcje w interfejsie Radar.