Mikroserwis obliczania statystyk gier i analizy meczów

Budżet: 2000 EUR Termin: 7 dni

Cześć, pracowałem nad analityczną usługą dla platformy esports, gdzie przetwarzaliśmy ponad 2 miliony zdarzeń gier dziennie za pomocą Pandas bez pętli for, i skróciliśmy czas obliczeń metryk do mniej niż 3 sekundy ⚡

Projekt jest bardzo podobny do waszego: tam również trzeba było agregować surowe logi (zabójstwa, zgony, obrażenia) i dostarczać zorganizowaną analizę przez FastAPI + walidację Pydantic

Pytanie zasadnicze: planujecie przetwarzać zdarzenia w czasie rzeczywistym (streaming z kolejki typu Kafka), czy wystarczy przetwarzanie wsadowe gotowych logów sesji? Od tego zależy wybór między ClickHouse a PostgreSQL

Proponuję się skontaktować, chętnie doradzę was z technicznej strony i wspólnie opracujemy plan rozwoju + opowiem o moim zespole!

Budżet: 333 EUR Termin: 10 dni

a Иван, potrzebujesz usługi do szybkiego przetwarzania logów gier, która przekształca „surowe” zdarzenia w zrozumiałe metryki wydajności graczy. Główna trudność polega tutaj nie tylko na zbieraniu danych, ale także na odpowiednim wektoryzowaniu operacji, aby usługa nie miała problemów z analizą dużych zbiorów meczów. Zbuduję architekturę przetwarzania na połączeniu Pandas i NumPy, całkowicie eliminując pętle w obliczeniach, co zapewni wysoką wydajność przy agregacji zdarzeń. Całe przychodzące obciążenie zwalidujemy przez Pydantic, a dla szybkiego wdrożenia spakuję usługę i wybraną bazę w Docker. Powiedz, jaka jest średnia objętość logów na jeden mecz i czy istnieje już gotowy schemat JSON, który usługa powinna przyjmować na wejściu?

Budżet: 1000 EUR Termin: 7 dni

Cześć!

Zainteresował mnie Twój projekt. Mam doświadczenie w tworzeniu wysokoobciążonych usług backendowych w Pythonie, pracy z FastAPI, PostgreSQL, Dockerem, a także w przetwarzaniu dużych ilości danych z naciskiem na wydajność.

Mogę zrealizować usługę, która:

* przyjmuje i waliduje zdarzenia gry za pomocą FastAPI i Pydantic;
* efektywnie agreguje duże zbiory danych z użyciem Pandas/NumPy bez użycia pętli `for`, tam gdzie wpływa to na wydajność;
* oblicza niezbędne metryki graczy (K/D, obrażenia, efektywność, realizacja celów i inne wskaźniki);
* wspiera przechowywanie danych w PostgreSQL lub ClickHouse (jeśli przewiduje się naprawdę duże ilości logów);
* zapewnia wygodne API do uzyskiwania analityki;
* w pełni uruchamia się za pomocą Docker Compose.

Podczas tworzenia zwracam uwagę nie tylko na poprawność obliczeń, ale także na skalowalność usługi. Architektura będzie zbudowana w taki sposób, aby w przyszłości można było dodawać nowe typy zdarzeń gry, metryki i źródła danych bez istotnej przeróbki systemu.

Chętnie omówię strukturę przychodzących zdarzeń, oczekiwane ilości danych i zestaw obliczanych metryk, aby zaproponować optymalną architekturę.

Z poważaniem,
Dmitrij Rozwiń

Budżet: 25 EUR Termin: 1 dzień

Cześć Yvan,

To pasuje do pracy, którą regularnie wykonuję, usługi FastAPI przetwarzające ustrukturyzowane dane zdarzeń z Pandas do ciężkiej agregacji i Pydantic do walidacji schematu w trakcie przetwarzania.

W przypadku obliczania metryk, wymóg braku pętli ma sens, biorąc pod uwagę opisany przez Ciebie wolumen, zoperacje wektorowe Pandas/NumPy na surowych tablicach zdarzeń (zabójstwa, zgony, obrażenia, misje) zamiast iterowania wiersz po wierszu, grupowanie i agregowanie na poziomie DataFrame, a następnie bezpośrednie przesyłanie do ClickHouse, gdy zestaw danych stanie się na tyle duży, że pobieranie wszystkiego do pamięci przestaje mieć sens.

Kilka rzeczy, które pomogłyby mi dokładnie określić zakres. Jaki jest oczekiwany wolumen, czy mówimy o tysiącach zdarzeń na mecz, czy milionach w ramach aktywnego pipeline'u, ponieważ to decyduje, czy ClickHouse jest wart kosztów konfiguracji w porównaniu do PostgreSQL z dobrym indeksowaniem. Czy masz już próbkę surowego formatu logu, nawet kilka rzeczywistych rekordów pozwoliłoby mi precyzyjnie określić schemat Pydantic przy pierwszym podejściu, zamiast zgadywać nazwy pól. I czy to jest usługa jednorazowego wczytywania, czy musi obsługiwać ciągłe przychodzące sesje, co zmienia, czy buduję kolejkę, czy utrzymuję to w prostym modelu żądanie-odpowiedź.

Ustawiłbym to jako FastAPI z modelami Pydantic walidującymi przychodzące ładunki, warstwę agregacyjną opartą na Pandas do obliczania metryk, zdockerowaną obok odpowiedniej bazy danych, z docker compose, aby całość działała za pomocą jednego polecenia po Twojej stronie.

Prześlij próbkę ładunku, jeśli ją masz, a ja wrócę z konkretną ceną i harmonogramem zamiast przybliżonej wyceny. Rozwiń

Budżet: 450 EUR Termin: 9 dni

Cześć! Jestem gotów opracować mikroserwis do obliczania statystyk gier z wykorzystaniem FastAPI i Pandas. Zapewnię wysoką wydajność i jakościową analizę. Porozmawiajmy o szczegółach!

Budżet: 50 EUR Termin: 2 dni

Witam. Projekt stworzenia serwisu analityki sesji gier jest mi dobrze znany i interesujący do realizacji. Architektura serwisu będzie zbudowana na FastAPI z Pydantic dla niezawodnej walidacji danych wejściowych, a do szybkiej agregacji metryk na dużych zbiorach danych zastosuję wektoryzowane operacje Pandas i NumPy, unikając pętli for, jak wskazano w wymaganiach. Wykorzystanie ClickHouse zapewni optymalną wydajność dla zapytań analitycznych, a konteneryzacja Docker gwarantuje łatwe wdrożenie i skalowanie rozwiązania. Już mam gotowe szablony architektoniczne i zoptymalizowane skrypty do podobnych zadań, co znacznie przyspieszy proces rozwoju i zwiększy niezawodność. Wszystkie szczegóły realizacji, końcowy budżet i terminy proponuję omówić w wiadomościach prywatnych.

Budżet: 348 EUR Termin: 5 dni

Witam! Zainteresowała mnie wasza zadanie dotyczące stworzenia analitycznego mikroserwisu. Mam doskonałe doświadczenie w pracy z FastAPI i Pydantic do walidacji danych, a także głęboko znam Pandas i NumPy do obliczeń wektorowych, co jest krytycznie ważne do przetwarzania logów gier bez użycia wolnych pętli. Jestem gotów zrealizować efektywną architekturę z wykorzystaniem ClickHouse lub PostgreSQL, zapakować wszystko w Docker i zapewnić wysoką wydajność przetwarzania danych. Jestem gotów omówić szczegóły i przystąpić do pracy, piszcie.