Zbuduj bezpieczny lokalny system AI (LLM, RAG i agenci AI)

Budżet: 6000 UAH Termin: 14 dni

Cześć Anastazjo,

Oto jak bym to zbudował i gdzie bym się sprzeciwiał specyfikacji.

Proponowany stos: Ollama obsługująca skwantyzowany otwarty model (Qwen2.5 lub Mistral, 7-14B w zależności od twojego sprzętu), Qdrant jako magazyn wektorów, LlamaIndex dla warstwy RAG, FastAPI dla API, wszystko w Docker Compose za Nginx. Ingestia: PyMuPDF dla PDF z Tesseract OCR tylko na stronach, które naprawdę tego potrzebują (OCR na wszystkim to zwykle powód, dla którego te pipeline'y się wleką), python-docx i openpyxl dla DOCX/XLSX, Whisper dla transkryptów. Usuwanie duplikatów według hasha treści, wersjonowanie według id dokumentu plus rewizji, więc ponownie przesłany plik zastępuje swoje stare fragmenty zamiast je podwajać.

Dwa punkty, które mają większe znaczenie niż wybór frameworka. Cytaty muszą być zwracane jako dane - identyfikatory fragmentów i plik źródłowy rozwiązany z kroku pobierania, nigdy nie żądane od modelu w podpowiedzi. Model, któremu powiedziano, aby cytował, wymyśli cytaty; pipeline, który je zwraca, nie może. A izolacja klientów należy do filtra zapytań Qdrant, egzekwowanego na poziomie najemcy, a nie w kodzie aplikacji, gdzie jedno pominięcie gałęzi ujawnia dokumenty innego klienta.

Harmonogram i koszt, oparte na kamieniach milowych, jak prosiłeś:

M1, 14 dni, kwota oferty: LLM działający na twoim serwerze, ingestia dla PDF/OCR/DOCX/TXT/XLSX, indeks Qdrant z usuwaniem duplikatów i wersjonowaniem, punkt końcowy zapytania FastAPI zwracający cytowane źródła, wdrożenie Docker i dokumentacja konfiguracyjna.
M2: agenci spotkań - transkrypty, podsumowania, ekstrakcja zadań - plus interfejs zapytań webowych.
M3: autoryzacja i role, izolacja per klient, walidacja bezpieczeństwa, optymalizacja wydajności.

Całkowity szacunkowy koszt M1-M3 to 22000-28000 UAH. Wolę stałą cenę za kamień milowy niż stawkę godzinową, abyś otrzymał działający system na koniec każdego z nich, a nie arkusz czasu.

Prosto o portfolio, o które pytałeś: nasza płatna praca dla klientów to produkcyjny Python i automatyzacja API na Linux VPS - narzędzie raportujące Google Ads API, boty Telegram dla działających firm, infrastruktura mailowa. Lokalny LLM, RAG i strona wieloagentowa, którą prowadzę wewnętrznie na co dzień, to system agentów hostowany samodzielnie z pobieraniem z własnej bazy dokumentów. Mogę to pokazać na żywo podczas udostępniania ekranu, abyś zobaczył działanie pobierania i cytatów przed podjęciem jakiejkolwiek decyzji.

Jedno pytanie, które decyduje o architekturze: jaki procesor, RAM i GPU ma docelowy serwer? Model 7B działający tylko na CPU odpowiada w 10-20 sekund; na GPU 16GB, poniżej dwóch. Bez GPU dostosowałbym model do twojego sprzętu i powiedziałbym, jaki sprzęt warto kupić, zamiast obiecywać prędkość, której nie może dostarczyć.

Petro Pankov, BotCraft Group Rozwiń

Budżet: 18000 UAH Termin: 14 dni

Witaj Anastazjo,
Głównym ryzykiem w tym projekcie jest brak połączenia lokalnego modelu językowego z bazą danych wektorową. Ważne jest zapewnienie, że ograniczenia dostępu do dokumentów, cytaty źródłowe, wersje dokumentów i izolacja najemców będą działać poprawnie przez cały proces wchłaniania, pobierania i wykonywania przez agenta.
Mogę zbudować kompletną, samodzielnie hostowaną pierwszą wersję produkcyjną platformy, używając Pythona, FastAPI, Docker Compose, lokalnego środowiska LLM, Qdrant lub równoważnej bazy danych wektorowej oraz LlamaIndex, gdzie zapewnia to wyraźną przewagę.
Dostarczony system będzie zawierał:
Lokalne wdrożenie LLM na Twoim VPS lub dedykowanym serwerze.
Wchłanianie dokumentów dla PDF, stron OCR, DOCX, TXT, XLSX oraz transkryptów spotkań.
Haszowanie treści, metadane, deduplikację, rewizje dokumentów i ponowne indeksowanie.
Odpowiedzi RAG z odniesieniami do plików źródłowych i fragmentów zwracanymi przez warstwę pobierania.
Przetwarzanie transkryptów spotkań, podsumowania, zadania do wykonania oraz ekstrakcja wiedzy klienta.
Punkty końcowe FastAPI i prosty interfejs webowy do przesyłania dokumentów i zapytań o wiedzę.
Uwierzytelnianie, role i izolowane zbiory dokumentów dla oddzielnych klientów lub działów.
Wdrożenie Docker, logowanie, kopie zapasowe, testy i pisemna dokumentacja konfiguracji.
Moje praktyczne doświadczenie obejmuje rozwój w Pythonie, bazy danych, interfejsy REST API, automatyzację, integracje API AI, systemy Telegram oraz łączenie oprogramowania biznesowego z aplikacjami dostosowanymi. Nie będę twierdzić, że ukończyłem publiczny przypadek RAG dla wielu najemców, którego nie mogę udowodnić.
W ciągu pierwszych 72 godzin dostarczę architekturę, mapę zagrożeń i przepływu danych, szkielet Dockera oraz działający lokalny prototyp, który importuje jeden dokument i zwraca odpowiedź z potwierdzonym odniesieniem źródłowym.
Cena stała: 18 000 UAH. Termin dostawy: 14 dni kalendarzowych. Serwer, sprzęt GPU, opłaty hostingowe i płatne licencje osób trzecich nie są wliczone. Prace i zatwierdzenia mogą być realizowane na piśmie przez przestrzeń roboczą Freelancehunt. Rozwiń

Budżet: 6000 UAH Termin: 2 dni

Cześć, jestem gotów zaprojektować i zbudować bezpieczny lokalny system AI z LLM, RAG i agentami dostosowanymi do Twoich procesów biznesowych. Mam doświadczenie z backendem w Pythonie, botami w Node.js, n8n i Hermes, a dla tego zadania uważam, że Hermes jest najbardziej odpowiednią opcją. Na Hermes można stworzyć agenta w taki sposób, abyś później samodzielnie edytował logikę, instrukcje i zachowanie przez czat w Telegramie. Realizacja: dobiorę lokalny model, skonfiguruję RAG według Twoich danych, ograniczę dostęp i stworzę podstawowe scenariusze automatyzacji agentów. Jeśli potrzebny jest API lub warstwa administracyjna wokół systemu, zrobię to na FastAPI lub Node.js. git: github.com/onyx144

Budżet: 1000 UAH Termin: 15 dni

Częściowo tak, jak w poprzednim projekcie. Oto co możesz zaproponować:

Cześć! Przejrzałem projekt.

Mogę zamknąć część przez n8n + OpenAI:

— Logika RAG przez OpenAI Assistants API z ładowaniem dokumentów (PDF, DOCX, TXT) — bez lokalnego LLM, ale szybko i niezawodnie
- Agenci do przetwarzania transkryptów spotkań → automatyczne podsumowanie + lista zadań
- Pipeline ładowania dokumentów i zapytań do bazy wiedzy
- Prosty interfejs webowy lub bot Telegram do zapytań
- Punkt końcowy API przez n8n webhook

Szczerze o ograniczeniach: lokalne LLM na VPS, wektorowe bazy danych (Qdrant/Chroma) i architektura Python - to poza moim stosem. Jeśli krytycznie potrzebujesz modelu self-hosted - nie jestem odpowiednim kandydatem.

Jeśli rozwiązanie oparte na OpenAI z pełną prywatnością przez Assistants API Ci odpowiada - możemy omówić szczegóły. Rozwiń

Budżet: 24000 UAH Termin: 50 dni

Cześć Anastazjo,

Buduję ten stos. Mój własny projekt to desktopowy klient AI w Rust/Tauri — cztery protokoły dostawców LLM za jednym interfejsem, natywna pętla wywołań narzędzi, lokalne RAG na sqlite-vec z hybrydowym wyszukiwaniem słów kluczowych i semantycznym, oraz graf korekcyjnego RAG w Pythonie. Ręcznie napisane, bez LangChain. github.com/kamedashe

Zanim złożę odpowiednią ofertę — czy 700 UAH to rzeczywisty budżet, czy tylko miejsce na kwotę? W odniesieniu do zakresu, który opisujesz, brzmi to jak miejsce na kwotę, a wolałbym zapytać niż zgadywać.

I żeby być szczerym co do granic: zajmuję się warstwą aplikacji — indeksowaniem, wyszukiwaniem, cytatami, agentami, API wokół nich. Nie prowadziłem infrastruktury GPU dla firmy. Jeśli samodzielne hostowanie modelu jest w zakresie, to osobny temat.

Bohdan

Budżet: 700 UAH Termin: 3 dni

Witaj, Anastasio.
Robiłem podobne projekty — znam niuanse i zrobię dokładnie to, co opisano. Mam kilka pytań przed rozpoczęciem.
Ostateczna cena/termin po wszystkich wyjaśnieniach.

Profil: Freelancehunt
Opinie: Freelancehunt

Budżet: 700 UAH Termin: 7 dni

Dzień dobry, Anastasio!

Mam doświadczenie w opracowywaniu bezpiecznych systemów AI, w tym lokalnych LLM i RAG, co pozwala stworzyć efektywną platformę do automatyzacji procesów biznesowych.

Rozumiem znaczenie bezpieczeństwa i prywatności danych dla twojego projektu. Mam doświadczenie w pracy z technologiami, które zapewniają niezawodną izolację danych i kontrolę dostępu.

Aby stworzyć efektywną strategię, proponuję najpierw zapoznać się z twoimi wymaganiami i specyfikacją projektu. Po tym będę mógł przygotować plan działania, w tym etapy rozwoju i wdrożenia.

Wstępny koszt moich usług wyniesie od 400$ miesięcznie. Czas trwania projektu będzie zależał od złożoności, ale zazwyczaj na realizację podobnych rozwiązań potrzeba od 2 do 4 miesięcy.

W moim portfolio znajdziesz przykłady realizacji podobnych projektów, które potwierdzają moją ekspertyzę.

Proponuję omówić szczegóły twojego projektu w prywatnych wiadomościach, aby określić dalsze kroki i cele. Rozwiń

Budżet: 20000 UAH Termin: 90 dni

już mam prawie gotowe podobne rozwiązanie z samodzielnym hostowaniem AI i RAG, które możemy dostosować i szybko uruchomić... jestem online i mogę omówić pierwszy kamień milowy tutaj teraz ))

dla pełnego zakresu produkcji stała wycena wynosi 20000 USD i około 90 dni

wymienione 700 UAH nie pokryje tego zakresu... bezpiecznym pierwszym kamieniem milowym jest architektura i działający prywatny prototyp za 2400 USD w 5 dni roboczych

czy wsparcie wdrożenia powinno dotyczyć jednej firmy, czy oddzielnych izolowanych organizacji klientów?

jakie sprzęt serwerowy i oczekiwana objętość dokumentów są dostępne?

https://business.ingello.com/en/fractal - orkiestracja wieloagentowa i zautomatyzowane przepływy pracy inżynieryjnej

https://business.ingello.com/en/vorfahr - produkcyjne AI i system SaaS z automatyzacją biznesu

https://systems-fl.ingello.com/en - nasza praktyka automatyzacji AI i oprogramowania na zamówienie Rozwiń

Budżet: 700 UAH Termin: 14 dni

Anastasia, brzmi to tak, jakbyś potrzebowała solidnej, samodzielnie hostowanej architektury, która utrzymuje dane Twojej firmy z dala od chmur stron trzecich, jednocześnie zapewniając wysokiej jakości odpowiedzi za pomocą RAG. Aby to zrealizować, skoncentruję się na skonfigurowaniu stabilnego środowiska kontenerowego z lokalnym LLM, integrując LlamaIndex w celu precyzyjnego wyszukiwania dokumentów oraz definiując konkretne przepływy pracy dla Twoich agentów, aby skutecznie obsługiwać transkrypcje i dokumenty wewnętrzne. Czy mogłabyś wyjaśnić, jakie zasoby sprzętowe masz dostępne dla serwera i ilu jednoczesnych użytkowników będzie codziennie korzystać z systemu?