Automatyzowane zbieranie danych i analityka dla platformy RoyalRoad

Ten projekt był skierowany na stworzenie wysokowydajnego rozwiązania serwerowego do automatycznego zbierania i analizy danych z literackiej platformy RoyalRoad. Głównym zadaniem było zebranie szczegółowych informacji o 37 000 książek, przekształcenie ich w ustrukturyzowany format oraz zapewnienie możliwości głębokiej analizy do dalszego wykorzystania.

Funkcjonalności aplikacji:
Zbieranie danych:

Wyciąganie informacji o książkach, w tym tytuły, oceny, opisy, kategorie i kluczowe tagi.
Zbieranie informacji o autorach: imiona, linki do profili, aktywność na platformie.
Uzyskiwanie szczegółowych informacji o rozdziałach, w tym liczba rozdziałów, daty publikacji i ich popularność.
Strukturyzacja danych:

Automatyczne przekształcanie zebranych informacji do formatu JSON, z wyraźną strukturą dla wygodnego użycia.
Przechowywanie danych w bazie danych w celu optymalizacji dostępu i dalszej analizy.
Analiza danych i generowanie raportów:

Sortowanie i filtrowanie książek według oceny, liczby rozdziałów, popularności wśród czytelników.
Opracowanie algorytmów do wykrywania trendów, takich jak najpopularniejsze gatunki czy autorzy.
Przygotowanie raportów z konkretnymi analizami do wykorzystania w celach biznesowych lub badawczych.
Główne wyzwania i ich rozwiązania:
Obchodzenie ochrony przed parsowaniem:
Zrealizowano obejście systemów ochrony platformy, takich jak CAPTCHA i ograniczenia zapytań. Zapewniło to stabilny i nieprzerwany proces zbierania danych.

Przetwarzanie dużych ilości danych:
Aby zapewnić szybkie przetwarzanie i przechowywanie danych, zastosowano zoptymalizowane algorytmy i efektywne bazy danych.

Elastyczność aplikacji:
Stworzona aplikacja łatwo dostosowuje się do zmian w strukturze strony, co pozwala na utrzymanie jej aktualności w dłuższej perspektywie.

Wyniki projektu:
Zebrano pełny zestaw danych o 37 000 książek, autorach i rozdziałach.
Zrealizowano narzędzia do analityki, które pozwalają na ranking książek według popularności, liczby rozdziałów i ocen.
Stworzono elastyczną bazę danych, która pozwala efektywnie przechowywać i wykorzystywać dane do dalszych celów, takich jak systemy rekomendacyjne, analiza marketingowa czy integracja z innymi projektami.