Мониторинг Телеграм

Budżet: 150000 RUB Termin: 20 dni

Задача: собрать максимум информации из телеграмма, необходимо мониторить каналы и группы. Все данные о событиях должны быть записаны для дальнейшего анализа.
Предположение: нельзя использовать bot API, необходимо использовать апи клиента телеграмма (возможно использование нескольких доступов одновременно)
Предлагаемый инструмент: сервер на golang или nodejs, который бы писал все события в Google big query. Таким образом решается вопрос большого объёма данных. Мы запишем все события в одну большую плоскую таблицу в bigquery. Такой подход не требует администрирования бд + позволяет обрабатывать терабайты информации.
Для анализа информации предполагается использовать metabase.com
Можем установить на ваш сервер, можем предложить использовать наш selfhosted. Metabase в данном случае выступает в роли построителя отчётов. Используя инструмент дашборда в нем мы создадим рабочие пространства аналитика. Для анализа частотности один дашборд, для поиска по сайтам иной и т.д.

Плюсы такого подхода:
- в bigquery расширенный subset SQL, вплоть до ML запросов. Больше возможностей по хитрым запросам.
- bigquery будет одинаково хорошо работать с любым количеством данных
- отсутствует необходимость в администрировании бд
- человеческий интерфейс конечного пользователя, который легко дорабатывать используя просто SQL запросы. Нет необходимости кодить визуализации и формы - все это уже качественно сделано движком метабейс, остаётся только писать запросы касательно предметной области. Rozwiń