Есть много открытых телеграм-груп, где люди делятся интересной информацией. Чтобы сократить время на поиск этих интересностей (сейчас это делается вручную), нужно разработать (или настроить, если есть готовое решение) парсер/граббер, который будет скачивать всю переписку за прошлый день, и с помощью ЛЛМ (Open Ai, Antropic и т.д.) находить в ней что-то интересное. Например, кто-то сказал, что завтра будет какое-то интересное мероприятие, или идет набор в группу гимнастики для детей. И если интересность найдена, просто добавлять ее в Гугл таблицу (или отправлять в телеграм-бота, который уже будет добавлять в таблицу через сервис SendPulse).
Ищу исполнителя, который имеет релевантный опыт.
Вот немного подробнее:
Цель проекта:
Создать систему автоматизации сбора и сортировки полезной информации из Telegram-групп. Основная задача — уменьшить трудозатраты волонтеров на мониторинг информации и предоставить журналистам готовый доступ к важным данным для написания заметок и новостей.
Описание задания:
Парсинг Telegram-групп:
- Приблизительное количество — около 40-50 Telegram-групп.
- Важно автоматизировать процесс получения всей переписки за последние 24 часа для каждой группы. Все сообщения должны быть собраны в одном месте для отладки и дальнейшей обработки.
Обработка данных:
- Собранные сообщения нужно сортировать на полезные и ненужные с помощью нейросети, такой как ChatGPT или другой LLM (large language model). Информация, которую мы считаем полезной (может быть добавлена):
- Информация о недвижимости (например, сообщения о свободных квартирах).
- Информация о медицинских услугах (например, рекомендации врачей, информация о временном отсутствии врачей).
- Анонсы событий для детей и взрослых (концерты, занятия, кружки и т.д.).
- Объявления продам/отдам/куплю/ищу.
- Необходимо, чтобы система могла автоматически классифицировать сообщения по категориям (которые могут добавляться), например: недвижимость, медицина, услуги, события, товары, реклама.
Формат сохранения информации:
- Вся полезная информация должна быть собрана в удобной форме. Возможные варианты реализации:
- Google-таблица: Каждое сообщение в отдельной строке с указанием:
- Группы и города, из которых было получено сообщение.
- Ссылки на сообщение в группе.
- Типа сообщения (недвижимость, медицина, события и т.д.).
- Trello: Добавление карточек в Trello, где каждая карточка представляет собой сообщение с указанной категорией и ссылкой на оригинальное сообщение.
- Telegram-бот: Отправка отфильтрованных сообщений в бота с указанием той же информации (город, тип сообщения, ссылка на оригинал).
Гибкость реализации:
- Можно предложить собственные варианты сохранения и обработки данных, основываясь на своем опыте. Главное — фильтрация информации из большого количества групп и создание удобной системы для передачи полезных сообщений журналистам.
- Возможен выбор любого подходящего инструмента для интеграции с LLM, например, использование OpenAI API для оценки сообщений или другого подходящего решения.
- Возможно также полууавтоматическое решение, если это уменьшит время разработки и стоимость.
Дополнительные требования:
- Регулярность: Система должна выполнять парсинг чатов автоматически каждый день и обрабатывать данные в течение короткого времени (до нескольких минут).
- Масштабируемость: Возможность добавления новых городов и групп в будущем. А также иметь возможность более тонкой настройки интереса сообщений.
Таким образом, основная задача — создание системы, которая ежедневно автоматически парсит сообщения в 40-50 Telegram-группах, фильтрует их через нейросеть и передает полезную информацию в удобном для команды формате.
