Є багато відкритих телеграм груп, де люди діляться цікавою інформацією. Щоб скоротити час на пошук цих цікавинок (зараз це робиться вручну), треба розробити (чи налаштувати, якщо є готове рішення) парсер/граббер, який буде скачувати всю переписку за минулий день, та за допомогою ЛЛМ (Open Ai, Antropic тощо) відшукувати у ній щось цікаве. Наприклад, хтось сказав, що завтра буде якійсь цікавий захід, чи йде набір у групу гімнастики для дітей. І якщо цікавинка знайдена, просто додавати її у Гугл таблицю (чи відправляти у телеграм-бота, який вже буде додавати у таблицю через сервіс SendPulse).
Шукаю виконувача, який має релевантний досвід.
Ось трохи докладніше:
Мета проєкту:
Створити систему автоматизації збору та сортування корисної інформації з Telegram-груп. Основне завдання — зменшити трудові витрати волонтерів на моніторинг інформації та надати журналістам готовий доступ до важливих даних для написання заміток і новин.
Опис завдання:
Парсинг Telegram-груп:
- Приблизна кількість — близько 40-50 Telegram-груп.
- Важлива автоматизація процесу отримання всієї переписки за останні 24 години для кожної групи. Всі повідомлення повинні бути зібрані в одному місці для налагодження та подальшої обробки.
Обробка даних:
- Зібрані повідомлення потрібно сортувати на корисні та непотрібні за допомогою нейромережі, такої як ChatGPT або іншої LLM (large language model). Інформація, яку ми вважаємо корисною (може бути додана):
- Інформація про нерухомість (наприклад, повідомлення про звільнення квартир).
- Інформація про медичні послуги (наприклад, рекомендації лікарів, інформація про тимчасову відсутність лікарів).
- Анонси подій для дітей та дорослих (концерти, заняття, гуртки тощо).
- Оголошення продам/віддам/куплю/шукаю.
- Необхідно, щоб система могла автоматично класифікувати повідомлення за категоріями (які можуть додаватися), наприклад: нерухомість, медицина, послуги, події, товари, реклама.
Формат збереження інформації:
- Вся корисна інформація повинна бути зібрана в зручній формі. Можливі варіанти реалізації:
- Google-таблиця: Кожне повідомлення в окремому рядку із зазначенням:
- Групи та міста, з яких було отримано повідомлення.
- Посилання на повідомлення у групі.
- Типу повідомлення (нерухомість, медицина, події тощо).
- Trello: Додавання карток у Trello, де кожна картка представляє собою повідомлення із зазначеною категорією та посиланням на оригінальне повідомлення.
- Telegram-бот: Надсилання відфільтрованих повідомлень у бота із зазначенням тієї ж інформації (місто, тип повідомлення, посилання на оригінал).
Гнучкість реалізації:
- Можна запропонувати власні варіанти збереження та обробки даних, базуючись на своєму досвіді. Головне — фільтрація інформації з великої кількості груп і створення зручної системи для передачі корисних повідомлень журналістам.
- Можливий вибір будь-якого відповідного інструменту для інтеграції з LLM, наприклад, використання OpenAI API для оцінки повідомлень або іншого відповідного рішення.
- Можливо також напів-автоматичне рішення, якщо це зменшить час розробки та вартості.
Додаткові вимоги:
- Регулярність: Система повинна виконувати парсинг чатів автоматично кожен день і обробляти дані протягом короткого часу (до кількох хвилин).
- Масштабованість: Можливість додавання нових міст і груп у майбутньому. А також мати можливість більш тонкого налаштування інтересу повідомлень.
Таким чином, основне завдання — створення системи, яка щодня автоматично парситиме повідомлення у 40-50 Telegram-групах, фільтруватиме їх через нейромережу та передаватиме корисну інформацію в зручному для команди форматі.
