Zbuduj bezpieczny lokalny system AI (LLM, RAG i agenci AI)

Budżet: 18000 UAH Termin: 21 dni

Cześć,

Przechodząc od razu do sedna, ponieważ prosiłeś o rekomendacje, a nie o instrukcje.

Self-hosted: vLLM do obsługi modelu (Ollama dla mniejszego obciążenia), Qdrant jako magazyn wektorów, LlamaIndex do pobierania i przetwarzania. Qdrant ma znaczenie dla Twojego wymogu izolacji: zakres najemcy staje się filtrem ładunku wewnątrz samego zapytania, więc dokumenty jednego klienta nie mogą pojawić się w odpowiedzi innego klienta, nawet jeśli warstwa aplikacji ma błąd. Przetwarzanie: PyMuPDF dla tekstowych PDF z zapasowym Tesseract OCR dla skanów, python-docx i openpyxl dla DOCX i XLSX, deduplikacja na podstawie hasha treści, doc_id plus rewizja dla wersjonowania. FastAPI za JWT, każda odpowiedź zwracająca dokument źródłowy, stronę i fragment, aby cytat mógł być rzeczywiście sprawdzony. Docker Compose plus przewodnik wdrożeniowy.

O nas, szczerze. Produkcja Python, FastAPI, Docker i prace na serwerach Linux dostarczane na serwerach klientów: pięć zakończonych projektów tutaj, średnia ocena 10 na 10, brak negatywnych recenzji. Codziennie uruchamiamy naszą własną automatyzację LLM-agenta w produkcji, więc orkiestracja agentów i tryby awarii tych systemów to codzienna praca, a nie teoria. Mamy również publiczny zapis siedmiu scalonych pull requestów do zewnętrznych projektów open-source, głównie narzędzia bezpieczeństwa Go z 173 gwiazdkami, każdy zrecenzowany i zaakceptowany przez opiekunów. Czego nie zrobię, to twierdzić, że dostarczyłem platformę RAG w produkcji dla klienta. Budujemy z tymi frameworkami, ale nie zamierzam wymyślać studiów przypadków, aby wygrać przetarg.

Więc zminimalizuj ryzyko zamiast brać moje słowo. Kamień milowy 1: lokalny LLM działający na Twoim serwerze, przetwarzanie PDF z OCR, DOCX, TXT, XLSX, indeks Qdrant z deduplikacją i wersjonowaniem oraz punkt końcowy FastAPI odpowiadający na pytania dotyczące Twoich rzeczywistych dokumentów z cytatami. Trzy tygodnie, 18000 UAH stała cena. Kończysz z czymś, co możesz przetestować w odniesieniu do swojej własnej bazy wiedzy przed podjęciem dalszych zobowiązań. Kamień milowy 2 (przetwarzanie transkryptów, podsumowania, zadania do wykonania) i Kamień milowy 3 (uprawnienia, wzmocnienie izolacji, interfejs webowy) wycenię po Kamieniu milowym 1, gdy znane będą rzeczywiste wolumeny. Preferowana stała cena za kamień milowy; możliwe stawki godzinowe dla otwartych badań.

Jedno pytanie, które naprawdę zmienia architekturę: jaki jest serwer - GPU i VRAM, czy tylko CPU? To decyduje, czy realistycznie otrzymasz model klasy 7-8B czy coś większego, i jest to największy pojedynczy czynnik wpływający na jakość odpowiedzi. Również przydatne: mniej więcej ilu klientów najemców i ile dokumentów na start.

Петро Панков, BotCraft Group Rozwiń

Budżet: 1200 UAH Termin: 7 dni

Dzień dobry, Anastasio!

Mam doświadczenie w tworzeniu bezpiecznych systemów AI, w tym w opracowywaniu lokalnych LLM i architektur RAG. Moja ekspertyza pozwala na realizację projektów, które automatyzują procesy biznesowe i przetwarzają dokumenty.

Rozumiem, że szukasz rozwiązań do automatyzacji procesów roboczych, integrując agentów AI do obsługi spotkań i zapytań. Twoim celem jest stworzenie prywatnej ekosystemu AI, który bezpiecznie indeksuje wiedzę firmy.

Aby zaproponować konkretną strategię, należy przeprowadzić wstępną analizę. W tym celu potrzebuję więcej informacji o Twoich wymaganiach, technologiach, które planujesz wykorzystać, oraz specyfice projektu. Proponuję następujący plan działania:
1. Prześlij szczegóły dotyczące Twoich technologii i celów.
2. Zapoznam się z aktualnymi zasobami i wymaganiami.
3. Następnie przygotuję propozycję z planem prac.

Wstępny koszt moich usług wynosi od 400$ miesięcznie. W zależności od złożoności projektu, realizacja może zająć od 2 do 8 miesięcy.

W moim profilu znajdziesz przykłady zrealizowanych projektów, które mogą być dla Ciebie przydatne: Freelancehunt

Proponuję omówić szczegóły Twojego projektu w prywatnych wiadomościach, aby doprecyzować wymagania i sformułować plan działania. Rozwiń

Budżet: 700 UAH Termin: 1 dzień

Powtarzam opinię:

Cześć. Dokładnie przeczytałem brief. Potrzebujesz samodzielnie hostowanego stosu AI: lokalnego LLM na własnym VPS, pipeline'u RAG z odpowiedziami z cytatami źródłowymi, wczytywania dokumentów w formacie PDF z OCR, DOCX, XLSX oraz transkrypcji spotkań, plus agentów do podsumowań i wydobywania zadań, wszystko za ścisłą izolacją danych i kontrolą dostępu.

To bliskie temu, co buduję na co dzień. W wydanym produkcie zbudowałem pełny pipeline RAG na Qdrant z LLM jako orkiestratorem i odpowiedziami opartymi na cytatach, aby ograniczyć halucynacje, więc wczytywanie, dzielenie, metadane i warstwa deduplikacji są mi znane. Po stronie serwującej uruchomiłbym otwarty model (klasa Llama, Mistral lub Qwen) na serwerze, udostępniłbym go przez usługę FastAPI, trzymałbym wszystko w Dockerze i zapewnił izolację dla każdego klienta na warstwie przechowywania i pobierania, aby jeden najemca nigdy nie mógł odczytać indeksu innego najemcy.

Jeśli chodzi o agentów, utrzymałbym je jako małe, dobrze zdefiniowane narzędzia (wczytywanie transkryptów, podsumowanie, zadania, pozyskiwanie wiedzy), a nie jako jeden duży prompt, co jest bardziej niezawodne i łatwiejsze do przetestowania.

Kilka rzeczy, które decydują o architekturze: mniej więcej ile dokumentów i jaka całkowita objętość spodziewasz się w pierwszych miesiącach, czy masz już docelowy serwer (GPU lub tylko CPU), czy powinienem dostosować model do twojego sprzętu? Chętnie omówię plan wdrożenia i zabezpieczeń podczas rozmowy.

Budżet: 4500 UAH Termin: 4 dni

Mogę zbudować bezpieczny, samodzielnie hostowany system AI z lokalnym LLM, RAG i agentami AI dla Twoich procesów biznesowych. Moja wiedza obejmuje asystentów AI szkolonych na danych klientów (RAG), integracje API oraz automatyzację procesów — dokładnie to, czego potrzebujesz do przetwarzania dokumentów, transkrypcji spotkań i pozyskiwania wiedzy. Zajmę się stroną inżynieryjną (wdrożenie LLM, pipeline RAG, agenci) i mogę dostarczyć prosty interfejs webowy lub API do zapytań w bazie wiedzy. Czy mógłbyś wyjaśnić oczekiwaną liczbę dokumentów i transkrypcji spotkań do przetworzenia miesięcznie?

Moja strona/LINK: gordey.pro

Budżet: 16000 UAH Termin: 14 dni

Cześć Anastazjo,

Pracowałem bezpośrednio z tym dokładnym stosem (Qdrant, LlamaIndex, lokalne serwowanie LLM za pomocą Ollama) w projekcie roboczym, więc mogę mówić o rzeczywistych szczegółach implementacji, a nie tylko o terminologii.

Proponowane podejście do rdzenia wchłaniania + wyszukiwania:

LlamaIndex do ładowania dokumentów i dzielenia ich na fragmenty, Qdrant jako magazyn wektorów (filtrowanie oparte na ładunku obsługuje izolację na poziomie wyszukiwania dla każdego najemcy, a nie tylko na poziomie API — więc błąd w górę nie może wyciekować dokumentów jednego klienta do odpowiedzi innego)
Ładowanie PDF z fallbackiem OCR (Tesseract) dla zeskanowanych dokumentów, plus wsparcie dla DOCX/XLSX/TXT
Usuwanie duplikatów na podstawie hasha treści, doc_id + rewizja dla wersjonowania
Backend FastAPI z autoryzacją JWT, cytaty źródłowe zwracane z każdą odpowiedzią (dokument, strona, fragment), aby łatwo było wychwycić halucynacje
Ustawienie Docker Compose z przewodnikiem po wdrożeniu

Dla lokalnej warstwy serwowania LLM — Ollama jest solidnym wyborem, jeśli objętość zapytań jest umiarkowana; vLLM ma więcej sensu, jeśli potrzebujesz wyższej przepustowości. Chętnie doradzę, gdy poznam twoje oczekiwane obciążenie równoległe.

Jedna uwaga dotycząca mojego doświadczenia: odpowiednia praca praktyczna została wykonana w ramach wewnętrznego projektu objętego NDA, więc nie mogę podzielić się publicznym repozytorium ani studium przypadku — mogę jedynie mówić o architekturze i decyzjach bezpośrednio, co chętnie omówię bardziej szczegółowo w rozmowie, jeśli to przydatne.

Biorąc pod uwagę zakres, sugerowałbym podejście etapowe: Etap 1 dostarcza rdzeń wchłaniania + pipeline wyszukiwania z cytatami, testowalny na twoich rzeczywistych dokumentach przed przejściem do Etapu 2 (transkrypcje spotkań, podsumowania, ekstrakcja działań) i Etapu 3 (uprawnienia, interfejs webowy).

Kilka pytań, aby dokładnie określić Etap 1:

Oczekiwana objętość dokumentów i równoległych użytkowników — ma to wpływ na to, czy Qdrant samodzielnie hostowany, czy lżejsza konfiguracja ma sens, oraz czy potrzebujesz GPU, czy możesz działać tylko na CPU
Czy masz preferowane środowisko hostingowe (twój własny VPS, czy powinienem je zorganizować)?
Stała cena za etap, czy stawka godzinowa za części eksploracyjne?

Chętnie przeprowadzę cię przez architekturę w większych szczegółach. Rozwiń

Budżet: 10500 UAH Termin: 5 dni

Witaj! Jestem Serhij, mam 8-letnie doświadczenie w IT w różnych technologiach: web/mobile, backend, API, integracje, AI oraz rozwój gier. Widzę główne zadanie tak: Stworzyć bezpieczny lokalny system AI (LLM, RAG i agenci AI). O projekcie To projekt, który wymaga zaawansowanej znajomości języka angielskiego. Proszę nie...

Umiejętności pod zadanie:
- backend/API i integracje
- AI/ML, RAG i automatyzacja
- raportowanie, analityka i automatyzacja biznesowa
- Unity/Unreal i rozwój gier

Portfolio: https://games.campstudio.net/#showcases

Budżet: 20000 UAH Termin: 21 dni

Zbudowałem produkcyjne pipeline'y dokumentów i warstwy API na bazie workflow'ów osadzania, więc strona RAG tego projektu (przyjmowanie dokumentów, dzielenie na fragmenty, usuwanie duplikatów, tagowanie metadanych) bezpośrednio odnosi się do pracy, którą wykonałem, a nie do teorii. Wdrożyłem pipeline'y oparte na LlamaIndex z Qdrant jako magazynem wektorów i zintegrowałem lokalne LLM-y za pomocą Ollama, w tym warstwę cytowania źródeł, którą wspomniałeś jako zabezpieczenie przed halucynacjami.

Dla warstwy agenta zbudowałem pracowników, którzy przetwarzają transkrypcje spotkań, wyodrębniają zadania do wykonania i kierują wyniki do systemów downstream, wszystko za pośrednictwem punktów końcowych FastAPI z izolacją danych na poziomie klienta egzekwowaną na etapie pobierania, a nie tylko na bramie API.

Moje podstawowe doświadczenie to usługi fullstack w TypeScript i Pythonie, więc mogę również zająć się lekkim interfejsem webowym do zapytań w bazie wiedzy, jeśli zajdzie taka potrzeba. Czuję się komfortowo z konfiguracją serwera Linux i wdrożyłem samodzielnie hostowane stosy w środowiskach VPS od podstaw.

Chętnie przeprowadzę Cię przez Twoją obecną infrastrukturę i nakreślę konkretną architekturę dla warstw przyjmowania i agenta.

Budżet: 700 UAH Termin: 4 dni

Witam, znajduję się w TOP 10 freelancerów platformy, takie projekty już realizowałem, zrobię szybko, jakościowo i niedrogo.

Budżet: 3600 UAH Termin: 3 dni

Jaką objętość dokumentów i obciążenie użytkowników równocześnie powinien obsługiwać system? To decyduje między samodzielnie hostowanym Qdrant a lżejszym Chroma, oraz który lokalny model pasuje do twojego VPS, tylko CPU czy z GPU.

Zainstalowałbym usługi FastAPI w kontenerach Docker: LlamaIndex plus Qdrant do RAG, OCR za pomocą Tesseract dla zeskanowanych PDF, oddzielne agenty do podsumowań transkryptów i punktów akcji, kontrola dostępu oparta na metadanych, odpowiedzi z cytatami źródłowymi.

Dobrze pasuje podejście oparte na kamieniach milowych: pierwszy kamień milowy, API do wczytywania i pobierania, gotowe w ciągu około 3 dni do przeglądu.

Budżet: 20000 UAH Termin: 14 dni

Anastazja, skonfigurowanie lokalnego, odizolowanego środowiska LLM jest kluczowe dla utrzymania wrażliwych danych biznesowych z dala od interfejsów API stron trzecich. Skupiam się na budowaniu odpornych pipeline'ów RAG oraz wdrażaniu zlokalizowanych silników wnioskowania, które priorytetowo traktują zarówno prywatność danych, jak i wysoką dokładność pozyskiwania informacji dla Twojego konkretnego przepływu dokumentów. Aby odpowiednio przygotować infrastrukturę, czy masz preferencje co do środowiska hostingowego lub konkretnych wymagań sprzętowych, takich jak pojemność pamięci GPU, aby obsłużyć zamierzony wolumen dokumentów?