Rozwój mikrousługi .NET do przetwarzania i synchronizacji danych Excel

Budżet: 27000 UAH Termin: 20 dni

> Termin - 20 dni roboczych, budżet - 120000 UAH za mikroserwis z gRPC, obsługą XLSX, zapisywaniem w PostgreSQL przez EF Core, podstawowymi testami i przygotowaniem do uruchomienia w kontenerze.

> Jesteśmy gotowi pracować według waszych kontraktów gRPC. W przypadku mikroserwisów .NET zazwyczaj dzielimy aplikację na warstwę kontraktów, aplikacyjne komendy i zapytania, logikę biznesową, infrastrukturę i testy. DI zbieramy przez oddzielne moduły rejestracji zależności, aby parser Excel, walidacja, kolejka przetwarzania, repozytoria i status wykonania nie mieszały się w jeden kombajn. Zobaczcie, tu jest niuans - dla dużych plików ważniejsze jest nie tylko przeczytanie XLSX, ale także nie zapełnienie pamięci i poprawne prowadzenie statusu przetwarzania =)

> W przypadku Excela w .NET pracowaliśmy z przetwarzaniem strumieniowym, walidacją typów, przekształceniem do modeli biznesowych i importem do bazy danych. Bibliotekę wybierzemy po ocenie rzeczywistego rozmiaru plików - EPPlus jest wygodny, OpenXML częściej lepszy tam, gdzie ważne są zasoby i kontrola odczytu.

> Pytania do dokładnej oceny
>> Czy są już zatwierdzone pliki .proto i schematy tabel PostgreSQL
>> Jakie są maksymalne rozmiary plików - liczba wierszy, arkuszy, waga pliku i oczekiwana równoległość przetwarzania

> Relewantne przykłady
>> https://business.ingello.com/platforma - platforma korporacyjna z modułową architekturą i skomplikowaną częścią serwerową
>> https://business.ingello.com/forma-bpm - automatyzacja procesów biznesowych, statusy, role i niezawodna obsługa operacji
>> https://business.ingello.com/iks - bliskie w duchu systemom księgowym i synchronizacji danych

> O Ingello Systems na Freelancehunt - https://systems-fl.ingello.com

> Z odczucia, projekt lepiej realizować nie jako jednorazowy import, ale jako staranny serwis przetwarzania danych. Skąpy płaci dwa razy - szczególnie gdy Excel nagle staje się produkcyjną integracją, a nie plikiem na biurku. Sprawdzamy krytyczne węzły testami i pozostawiamy kod gotowy do rozszerzenia. Rozwiń

Budżet: 12000 UAH Termin: 7 dni

Dzień dobry!

Zainteresowało mnie Twoje zadanie. Mam silne doświadczenie w backend development na .NET (w tym .NET 8/10) i doskonale rozumiem wyzwania związane z przetwarzaniem strumieniowym dużych danych.

Krótko o Twoich wymaganiach:

Mikroserwisy: Buduję izolowane, odporne na awarie usługi z wdrożeniem w Dockerze.
Modularność i DI: Używam Clean Architecture. Zależności rejestruję przez standardowy kontener DI od MS na poziomie każdego modułu. Dla CQRS używam MediatR, co pozwala utrzymać warstwę gRPC w czystości. Dla EF Core — wzorce Repository i Unit of Work.
Praca z Excelem: Dla dużych plików nie używam popularnego EPPlus, aby uniknąć OutOfMemoryException (ładuje całą model DOM do pamięci). Mój wybór to ExcelDataReader do szybkiego odczytu strumieniowego tylko do przodu. Do zapisywania dziesiątek tysięcy wierszy w PostgreSQL używam wsadowych wstawek (Bulk Insert / SQL COPY), aby nie przeciążać DBMS.
gRPC: Mam doświadczenie w projektowaniu kontraktów .proto. Rozumiem specyfikę przesyłania dużych plików (zastosuję Client Streaming stream bytes, aby odczytywać plik w kawałkach na bieżąco).
Gwarantuję czysty kod SOLID, pokrycie parsera i mapperów testami jednostkowymi (xUnit + Moq) oraz w pełni skonfigurowany Dockerfile.

Będę zadowolony, aby omówić szczegóły podczas krótkiej rozmowy telefonicznej lub wykonać test! Rozwiń

Budżet: 20000 UAH Termin: 15 dni

Dzień dobry, mogę pomóc w realizacji mikroserwisu na stosie .NET, pisz, aby omówić szczegóły.

Budżet: 12000 UAH Termin: 3 dni

Cześć. Zapoznałem się z zadaniem, stos technologiczny jest całkowicie mój. Przejdźmy do twoich wymagań:

Mikroserwisy na .NET piszę regularnie, nie mam problemów z izolacją kontekstów i pakowaniem w Docker. W kwestii architektury preferuję Clean Architecture: DI konfiguruję ściśle według warstw, logikę biznesową izoluję przez CQRS (zwykle korzystam z MediatR). Dzięki takiemu podejściu wszystko łatwo się skaluje i bez problemu pokrywa testami jednostkowymi.

Z parsowaniem dużych plików XLSX pracowałem dużo. Głównym problemem jest tu unikanie OutOfMemory. EPPlus znam doskonale, ale jeśli pliki będą bardzo duże, lepiej czytać je strumieniowo (na przykład przez ExcelDataReader), aby serwis działał stabilnie i nie zużywał pamięci.

Jestem gotowy do pracy z gRPC i kontraktami .proto, często używam ich do komunikacji międzyserwisowej. Zapis do Postgresa przez EF Core zrobię starannie przez Repository / Unit of Work, zapewnię bezpieczeństwo wątków.

Jeśli wszystko w porządku — jestem gotów przejrzeć kontrakty i omówić szczegóły techniczne.

Budżet: 25000 UAH Termin: 14 dni

Potrzebny jest izolowany serwis .NET, który przyjmuje pliki Excel, waliduje je i przekształca w PostgreSQL, nie psując innych części systemu.

Będę budować tak: kontrakt gRPC przez .proto z metodami Submit/GetStatus, przetwarzanie poleceń przez MediatR (CQRS), każdy handler jest izolowany i testowalny. Do parsowania XLSX wezmę ClosedXML lub ExcelDataReader — one czytają wierszami przez IEnumerable bez ładowania całego pliku do pamięci, co jest krytyczne dla dużych tabel. Warstwa danych: Repository + Unit of Work na EF Core, transakcje na poziomie partii wierszy, aby częściowa awaria nie zostawiała śmieci w bazie danych. Bezpieczeństwo wątków przez Channel lub SemaphoreSlim na poziomie worker'a, jeśli potrzebne jest równoległe przetwarzanie kilku plików.

Jaki jest typowy rozmiar plików i oczekiwana szczytowa obciążenie — ile plików w jednostce czasu serwis powinien obsługiwać?

Budżet: 10000 UAH Termin: 7 dni

Dzień dobry! Zapoznałem się z zadaniem — stos jest mi znany, realizuję. Opracuję mikroserwis na .NET 10 z gRPC API, parsowaniem XLSX przez EPPlus, Repository/Unit of Work nad PostgreSQL przez EF Core. CQRS i DI — standardowe podejście w moich projektach, modułowa architektura z możliwością skalowania. Bezpieczeństwo wątków przy przetwarzaniu dużych plików zapewnię przez asynchroniczny pipeline z kontrolą pamięci.

Budżet: 27000 UAH Termin: 22 dni

mamy już praktycznie gotowe podobne rozwiązanie do przetwarzania Excel i kolejek, można je szybko dostosować do waszego kontraktu gRPC, możemy omówić szczegóły tutaj, jestem w kontakcie))
co do terminu, zakładałbym 18-24 dni roboczych na serwis z API, parserem dużych XLSX, walidacją, zapisem do PostgreSQL przez EF Core, konteneryzacją i podstawowymi testami.
co do budżetu, wstępna ocena - 90000 UAH, dokładniej zależy od liczby szablonów Excel i zasad weryfikacji.
Możemy pracować ściśle według kontraktów gRPC, dokumentujemy .proto, DI zazwyczaj zbieramy według modułów - Aplikacja, Infrastruktura, Utrzymanie, Pracownik, Kontrakty.
w przypadku Excel używaliśmy EPPlus i OpenXML, dla dużych plików robimy odczyt strumieniowy, przetwarzanie partiami, ograniczenia pamięci i idempotentne statusy zadań.
wydaje się, że główne ryzyko tkwi nie w odczycie Excel, a w normalizacji zasad i powtarzalności wyników przy dużych plikach.
na początku przejdziemy przez 2-3 rzeczywiste pliki, aby nie wprowadzić fałszywych zasad do parsera.
z dodatkowych informacji - ile różnych formatów XLSX trzeba obsłużyć i czy są już zatwierdzone .proto oraz schemat PostgreSQL.
z podobnych systemów korporacyjnych - https://business.ingello.com/platforma, tam bliska logika niezawodnej platformy z modułami i integracjami.
i https://business.ingello.com/forma-bpm, tam bliska automatyzacja procesów i przetwarzanie danych biznesowych.
nasz landing FLH dotyczący systemów i automatyzacji AI - https://systems-fl.ingello.com Rozwiń

Budżet: 21000 UAH Termin: 14 dni

Maksymie, widzę, że potrzebujesz niezawodnej usługi do przetwarzania plików Excel, która zautomatyzuje skomplikowaną ręczną pracę z danymi i zapewni ich poprawną integrację w twoim systemie mikroserwisowym.

Opracuję mikroserwis z gRPC API, który efektywnie przyjmie duże pliki Excel, wykona ich walidację i transformację zgodnie z twoimi zasadami. Wynikiem będzie ustrukturyzowana i oczyszczona prezentacja danych w PostgreSQL, gotowa do dalszego wykorzystania, co wyeliminuje błędy i przyspieszy procesy przetwarzania danych.

Czy masz już gotowe przykłady plików Excel lub jasne zasady biznesowe dotyczące ich parsowania i walidacji?

Budżet: 25000 UAH Termin: 30 dni

Cześć!

Zapoznałem się z Twoim zadaniem — ten architektoniczny podejście jest mi bliskie. Mam doświadczenie w budowie systemów modułowych na .NET, dlatego jestem gotów zrealizować niezawodną usługę do przetwarzania danych Excel zgodnie z Twoimi wymaganiami dotyczącymi architektury i wydajności.

Moje doświadczenie i podejście do realizacji:

Mikroserwisy i architektura: W swoich projektach ściśle przestrzegam zasad SOLID. Do organizacji modułowości używam wzorca CQRS (przez MediatR), co pozwala na wyraźne rozdzielenie komend na zapis i odczyt danych.

Wstrzykiwanie zależności (DI): Buduję kontener DI za pomocą czystego Microsoft.Extensions.DependencyInjection, grupując rejestrację usług według modułów (przez metody rozszerzające IServiceCollection), co sprawia, że system jest łatwy do skalowania.

Praca z Excel: Mam doświadczenie w pracy z EPPlus (jeśli licencja na to pozwala) lub OpenXML (do pracy z dużymi plikami w trybie strumieniowym OpenXmlReader, co minimalizuje zużycie RAM).

gRPC i kontrakty: Mam doświadczenie w pracy z usługami gRPC, dlatego jestem gotów do ścisłego przestrzegania kontraktów .proto oraz efektywnego przetwarzania statusów wykonania.

Efektywność zasobów: Przy przetwarzaniu dużych plików XLSX stosuję podejście strumieniowe, aby nie ładować całego pliku do pamięci, a przetwarzać dane partiami (chunk processing).

Będę wdzięczny za dodatkowe pytania:

Czy masz już określone domeny do modelowania, czy trzeba będzie je opracować od podstaw na podstawie dostarczonego TŻ?

Czy planowane jest użycie brokera wiadomości (np. RabbitMQ) do asynchronicznego przetwarzania, czy gRPC ma być wywoływane synchronicznie?

Jestem gotów zaprezentować przykłady organizacji kodu, w których używane są podobne wzorce. Chętnie omówię szczegóły! Rozwiń

Budżet: 18000 UAH Termin: 31 dni

Witaj. Jestem programistą .NET z naciskiem na wysokowydajną architekturę mikroserwisów. Mój stos technologiczny obejmuje C#, .NET, gRPC, PostgreSQL i EF Core. Mam doświadczenie w budowaniu modułowych aplikacji z zastosowaniem wzorców CQRS, Repository i Unit of Work.

Odpowiedzi na Twoje wymagania:

Doświadczenie w pracy z .NET w mikroserwisach:
Zajmuję się tworzeniem backendowych mikroserwisów, które komunikują się wyłącznie przez gRPC. Potrafię projektować rozproszone systemy z zapewnieniem spójności danych.

DI i modularność:
Buduję projekty w oparciu o zasady modularności, enkapsulując logikę domenową. Aktywnie korzystam z Dependency Injection i konstruktorów na poziomie klas. Moje podejście zapewnia luźne powiązania komponentów, co ułatwia skalowanie i pisanie testów.

Praca z Excelem:
Mam doświadczenie w przetwarzaniu dużych zbiorów danych. Do parsowania XLSX preferuję OpenXML lub EPPlus, w zależności od wymagań dotyczących wydajności. Potrafię realizować przetwarzanie strumieniowe plików, aby zminimalizować zużycie pamięci podczas pracy z dużymi dokumentami.

Praca z gRPC:
Pracuję wyłącznie przez kontrakty gRPC. Mam doświadczenie w projektowaniu schematów .proto, zarządzaniu strumieniową wymianą danych oraz wdrażaniu odpornej na błędy obsługi błędów na poziomie usług.

Jestem gotów do podjęcia się zadania w najbliższym czasie.

Pytanie do wyjaśnienia: Czy należy przygotować szablon pliku .proto lub strukturę rozwiązania dla tego projektu, aby dołączyć je do odpowiedzi dla lepszej wizualizacji? Rozwiń