Budżet: 18000 UAH Termin: 21 dni
Cześć,
Przechodząc od razu do sedna, ponieważ prosiłeś o rekomendacje, a nie o instrukcje.
Self-hosted: vLLM do obsługi modelu (Ollama dla mniejszego obciążenia), Qdrant jako magazyn wektorów, LlamaIndex do pobierania i przetwarzania. Qdrant ma znaczenie dla Twojego wymogu izolacji: zakres najemcy staje się filtrem ładunku wewnątrz samego zapytania, więc dokumenty jednego klienta nie mogą pojawić się w odpowiedzi innego klienta, nawet jeśli warstwa aplikacji ma błąd. Przetwarzanie: PyMuPDF dla tekstowych PDF z zapasowym Tesseract OCR dla skanów, python-docx i openpyxl dla DOCX i XLSX, deduplikacja na podstawie hasha treści, doc_id plus rewizja dla wersjonowania. FastAPI za JWT, każda odpowiedź zwracająca dokument źródłowy, stronę i fragment, aby cytat mógł być rzeczywiście sprawdzony. Docker Compose plus przewodnik wdrożeniowy.
O nas, szczerze. Produkcja Python, FastAPI, Docker i prace na serwerach Linux dostarczane na serwerach klientów: pięć zakończonych projektów tutaj, średnia ocena 10 na 10, brak negatywnych recenzji. Codziennie uruchamiamy naszą własną automatyzację LLM-agenta w produkcji, więc orkiestracja agentów i tryby awarii tych systemów to codzienna praca, a nie teoria. Mamy również publiczny zapis siedmiu scalonych pull requestów do zewnętrznych projektów open-source, głównie narzędzia bezpieczeństwa Go z 173 gwiazdkami, każdy zrecenzowany i zaakceptowany przez opiekunów. Czego nie zrobię, to twierdzić, że dostarczyłem platformę RAG w produkcji dla klienta. Budujemy z tymi frameworkami, ale nie zamierzam wymyślać studiów przypadków, aby wygrać przetarg.
Więc zminimalizuj ryzyko zamiast brać moje słowo. Kamień milowy 1: lokalny LLM działający na Twoim serwerze, przetwarzanie PDF z OCR, DOCX, TXT, XLSX, indeks Qdrant z deduplikacją i wersjonowaniem oraz punkt końcowy FastAPI odpowiadający na pytania dotyczące Twoich rzeczywistych dokumentów z cytatami. Trzy tygodnie, 18000 UAH stała cena. Kończysz z czymś, co możesz przetestować w odniesieniu do swojej własnej bazy wiedzy przed podjęciem dalszych zobowiązań. Kamień milowy 2 (przetwarzanie transkryptów, podsumowania, zadania do wykonania) i Kamień milowy 3 (uprawnienia, wzmocnienie izolacji, interfejs webowy) wycenię po Kamieniu milowym 1, gdy znane będą rzeczywiste wolumeny. Preferowana stała cena za kamień milowy; możliwe stawki godzinowe dla otwartych badań.
Jedno pytanie, które naprawdę zmienia architekturę: jaki jest serwer - GPU i VRAM, czy tylko CPU? To decyduje, czy realistycznie otrzymasz model klasy 7-8B czy coś większego, i jest to największy pojedynczy czynnik wpływający na jakość odpowiedzi. Również przydatne: mniej więcej ilu klientów najemców i ile dokumentów na start.
Петро Панков, BotCraft Group
