О проекте:
Мы разрабатываем AI-платформу для автоматизации документооборота. Система уже работает в production, но имеет критические проблемы с качеством поиска и анализа документов. Ищем опытного архитектора-инженера, который не только найдет проблемы, но и непосредственно поможет их решить.
Текущая ситуация:
Работающая микросервисная система на базе LLM с поиском по документам
Низкая релевантность поисковых результатов
Проблемы с обработкой больших/сложных документов
RAG-pipeline требует переработки и оптимизации
Система обрабатывает PDF/DOCX/XLSX + OCR, индексирует в Weaviate
Что нужно сделать:
Аудит:
Проанализировать текущую архитектуру RAG-системы (Python FastAPI + LangChain)
Оценить эффективность document processing pipeline
Проверить качество работы с Weaviate (индексация, retrieval, chunking)
Выявить критические проблемы и их причины
Определить приоритеты для рефакторинга
Имплементация:
Переработать chunking strategy и document processing pipeline
Оптимизировать embedding pipeline и работу с Weaviate
Улучшить RAG-пайплайны (индексация/цитирование)
Оптимизировать prompt engineering и retrieval logic
Имплементировать metrics и evaluation для качества поиска
Настроить оптимальный flow обработки различных типов документов
Интегрировать улучшения с существующим Chat API
Помочь с deployment в production
Knowledge transfer:
Документировать архитектурные решения и изменения
Провести сессии с dev-командой
Настроить monitoring и evaluation метрик
Ожидаемый результат:
Работающая оптимизированная RAG-архитектура
Повышенная точность и релевантность поиска (измеряемые метрики)
Более быстрая и качественная обработка документов
Документация и best practices для команды
Возможность поддерживать и развивать систему самостоятельно
Необходимые навыки:
Must have:
Практический опыт построения production RAG-систем
Hands-on работа с Weaviate (или готовность быстро разобраться)
Опыт с vector databases в целом (Pinecone, Qdrant, Milvus)
Глубокое знание embedding models и semantic search
Опыт с LangChain (Python) — это наш основной фреймворк
Сильные навыки Python (FastAPI будет плюсом)
Опыт с document parsing/OCR (PDF, DOCX, XLSX, images)
Понимание chunking strategies, hybrid search, reranking
Nice to have:
Опыт evaluation frameworks для RAG-систем (RAGAS, LangSmith и т.д.)
Знание методов оптимизации costs в LLM-приложениях
Опыт с микросервисной архитектурой
Понимание Node.js/TypeScript для интеграции с Chat API
Знание PostgreSQL для работы с метаданными
Наш технический стек:
Backend:
Python (FastAPI) — документы, RAG-пайплайны, LangChain
Node.js (Fastify) — ядро, Auth, Chat API orchestration
Go — высоконагруженные I/O-задачи
Data & Storage:
PostgreSQL (Drizzle ORM) — метаданные, пользователи, чаты
Weaviate — векторный поиск, семантическая индексация
MinIO (S3-compatible) — файлы, артефакты
Redis — кеш, очереди (BullMQ), сессии
AI Stack:
LangChain (Python)
Document processing: PDF/DOCX/XLSX parsing, OCR
RAG pipelines с индексацией и цитированием
Frontend:
React + TypeScript + Vite
REST API + WebSocket
Формат сотрудничества:
Тесное сотрудничество с dev-командой (Python/Node.js разработчики)
О команде:
Стартап на ранней стадии с работающим MVP в production. Микросервисная архитектура, опытная техническая команда готова активно работать вместе с архитектором и быстро внедрять изменения.
