Парсер-бот RAI

RAI parser — это MVP операционной системы для Telegram-лидогенерации и AI-продаж в экосистеме Gerchik/GTE. Проект закрывает путь от поиска потенциальных клиентов в Telegram-группах до первого касания, продолжения диалога AI-ассистентом, прогрева лида и передачи в Zoho CRM.

Система состоит из операторского dashboard, Telegram user-account worker для поиска/автоджоина/первого DM, Telegram Business Bot для входящих диалогов, AI-агента на OpenAI, базы знаний и CRM handoff. Отдельно заложен Threads-раздел, но в текущем коде это намеренная заглушка MVP, а не рабочий collector.

Что умеет продукт

Создавать поисковые темы: ключевые слова, язык, гео, каналы Telegram/Threads.
Искать Telegram-группы через реальный Telegram user account, а не Bot API.
Автоджоинить найденные группы с дневным лимитом.
Сканировать сообщения в группах и отбирать лидов по buyer intent: ключевые слова плюс явный запрос на помощь/обучение/консультацию.
Отсеивать промо, рекламу и нерелевантные сообщения.
Ставить first DM в очередь от Telegram user account.
Вести Telegram Business диалоги через webhook.
Генерировать ответы через OpenAI Responses API с fallback-ответами при ошибках/таймаутах.
Обрабатывать текст, голосовые сообщения, изображения с caption/fallback.
Транскрибировать voice через Whisper.
Генерировать voice replies через OpenAI TTS.
Хранить prompt, базу знаний до 100 MB, Google Docs/Sheets/Slides ссылки и media bank.
Отправлять материалы из media bank через служебный маркер MEDIA:.
Определять теплых лидов по сигналам интереса, телефону, email или согласию продолжить в Telegram.
Отправлять теплых лидов/лиды в Zoho CRM.
Показывать оператору dashboard: темы, ключевые слова, лиды, диалоги, настройки, logs, Zoho events, системные статусы.
Полный стек

Backend:

Python >=3.11
FastAPI
Uvicorn
Starlette SessionMiddleware
Jinja2 templates
SQLite через стандартный sqlite3
httpx для внешних HTTP API
OpenAI Python SDK
Telethon для Telegram user account automation
pytest для тестов
Frontend:

Server-rendered HTML через Jinja2
CSS без frontend-фреймворка
Нет React, Next.js, Vite, npm/pnpm/yarn в текущем checkout
Database/storage:

SQLite файл: data/gerchik_rai.db по умолчанию
Таблицы: search topics, keywords, discovered groups, leads, conversations, messages, outreach events, Telegram jobs, Business threads/updates/reply jobs, Zoho sync events, logs, app settings, knowledge items, media items
Файловое хранилище рядом с DB:
knowledge/ для базы знаний
media/ для отправляемых материалов
telegram_sessions/ для Telethon-сессии
Integrations:

Telegram Bot API:
Business bot webhook
Finder bot webhook
sendMessage, sendVoice, sendDocument, getFile, setWebhook
Telegram user account через Telethon:
search public groups
join channels/megagroups
scan group messages
send direct messages
mute/archive joined groups
OpenAI:
Responses API для AI-ответов
Whisper whisper-1 для транскрибации voice
TTS gpt-4o-mini-tts для voice reply
модель по умолчанию: gpt-5-mini
Zoho CRM:
OAuth refresh token flow
создание Leads через Zoho CRM API
Google Docs/Sheets/Slides:
импорт через export URLs в txt/csv