Projekt NoSQL

W ramach tego projektu należy zrealizować skalowalną architekturę opartą na magazynie NoSQL. Główna uwaga powinna być poświęcona cechom budowy odpornej na awarie infrastruktury klastrowej, mechanizmom replikacji i shardingu, a także możliwościom integracji rozwiązania w infrastrukturze o wysokich wymaganiach dotyczących dostępności i poziomej skalowalności. Dokument powinien zawierać zarówno szczegóły techniczne realizacji, jak i przegląd aplikacyjnych scenariuszy użycia.

1. Architektura
1.1 Schemat architektury i opis
Przedstawiono schemat aktualnej architektury rozwiązania z wyjaśnieniami kluczowych komponentów.
1.2 Cechy konfiguracji

• 1.2.1 Teorema CAP
  Analiza kompromisów między dostępnością, spójnością i odpornością na podziały.

• 1.2.2 Klaster
  Opis logiki klastrowania i celów wybranej konfiguracji.

• 1.2.3 Węzły
  Uzasadnienie liczby węzłów i ich roli w zapewnieniu odporności na awarie.

• 1.2.4 Sharding
  Podejście do poziomego rozkładu danych i logiki segmentacji.

• 1.2.5 Replikacja
  Mechanizmy rezerwacji i synchronizacji/asynchronizacji replikacji.

• 1.2.6 Przechowywanie danych
  Praca z długoterminowym przechowywaniem i zapewnieniem integralności w przypadku awarii.

• 1.2.7 Rozkład danych
  Przegląd algorytmów routingu danych i interakcji między węzłami.

• 1.2.8 Bezpieczeństwo
  Aspekty autoryzacji, uwierzytelniania i ochrony perymetru.

2. Rozwiązanie funkcjonalne
2.1 Struktura
Opis struktury organizacyjnej projektu i logiki rozmieszczenia komponentów.
2.2 Instalacja
Krok po kroku instrukcja dotycząca wdrażania i automatyzacji z użyciem Docker i docker-compose.

3. Scenariusze aplikacyjne i studia przypadków
Trzy studia przypadków demonstrują praktyczne zastosowanie rozwiązania: od analityki po pracę z dużymi wolumenami danych strumieniowych.

4. Zalety i ograniczenia
Krótka analiza techniczna i strategiczna możliwości platformy w porównaniu z alternatywami.

5. Dodatkowe cechy
Rozważane są unikalne aspekty realizacji, które odróżniają projekt od typowych rozwiązań.

6. Dane
Opis trzech zbiorów danych używanych w ramach testowania i analizy. Jeden z zestawów zawiera ponad 5 000 rekordów, co pozwala przetestować skalowalność.

7. Zapytania
Zestaw 30 zaawansowanych zapytań rozwiązujących rzeczywiste problemy: agregacja, filtrowanie, praca z szeregami czasowymi i zagnieżdżonymi strukturami.

8. Podsumowanie
Przegląd osiągniętych wyników, potencjalnych kierunków skalowania oraz ograniczeń obecnego podejścia.

9. Zasoby
Lista źródeł technicznych i metodologicznych używanych podczas realizacji.

10. Załączniki

• Zbiory danych

• Zapytania SQL/NoSQL

• Skrypty i konfiguracje do wdrażania