Мониторинг Телеграм

C & C++, Desktop Apps, Python — incorrectly specified categories?

Требуется создать ПО по круглосуточному, автоматизированию сбору публикаций и сообщений из мессенджера Телеграм, а точнее - публикаций из конкретных каналов и сообщений из конкретных чатов/групп, внесенным пользователем будущей программы через десктопный интерфейс в соответствующее поле.

Собираться должны все публикации из каналов и все сообщения из групп и выводиться в таблице по запросу на отдельной вкладке ПО с сортировкой группа/автор/сообщение/время и дата для групп и канал/публикация/ время и дата для каналов с возможностью поиска сообщений по автору и по ключевому слову в группах и по ключевому слову в каналах - в одном и во всех.

Требуется предусмотреть возможность объединения групп или каналов в так называемые кластера. Требуется визуализировать частоту публикаций в виде диаграмм и графиков статистику каналов, групп и кластеров.

База данных MySQL - бибилотека на выбор програмиста.
Язык программирования обсуждается - мои предложения ->> C++ в Qt или Python.
Десктопное ПО под Windows.
Большие объемы сбора данных. Все что можно собирать нужно.

Жду Ваших предложений по стоимости.

Proposals 5 Rejected 3

Dmitry Misko

0 0

Projects -
Rating -
Rating 29

Budget: 4000 UAH Deadline: 30 days

Сделаю недорого, но без строгих дедлайнов. Общаться можем тут, а можем в телеграм/скайпе.

The list does not show proposals concealed by the client or freelancer with a Plus profile, as well as proposals violating rules

Nodeart Development

0 0

Projects -
Rating -
Rating 156

Budget: 150000 RUB Deadline: 20 days

Задача: собрать максимум информации из телеграмма, необходимо мониторить каналы и группы. Все данные о событиях должны быть записаны для дальнейшего анализа.
Предположение: нельзя использовать bot API, необходимо использовать апи клиента телеграмма (возможно использование нескольких доступов одновременно)
Предлагаемый инструмент: сервер на golang или nodejs, который бы писал все события в Google big query. Таким образом решается вопрос большого объёма данных. Мы запишем все события в одну большую плоскую таблицу в bigquery. Такой подход не требует администрирования бд + позволяет обрабатывать терабайты информации.
Для анализа информации предполагается использовать metabase.com
Можем установить на ваш сервер, можем предложить использовать наш selfhosted. Metabase в данном случае выступает в роли построителя отчётов. Используя инструмент дашборда в нем мы создадим рабочие пространства аналитика. Для анализа частотности один дашборд, для поиска по сайтам иной и т.д.

Плюсы такого подхода:
- в bigquery расширенный subset SQL, вплоть до ML запросов. Больше возможностей по хитрым запросам.
- bigquery будет одинаково хорошо работать с любым количеством данных
- отсутствует необходимость в администрировании бд
- человеческий интерфейс конечного пользователя, который легко дорабатывать используя просто SQL запросы. Нет необходимости кодить визуализации и формы - все это уже качественно сделано движком метабейс, остаётся только писать запросы касательно предметной области.

The list does not show proposals concealed by the client or freelancer with a Plus profile, as well as proposals violating rules

Yevgeny Venediktov
Velikii Novgorod (Novgorod), Russia
ИП Венедиктов Евгений Валентинович

Projects 5
Rating -
Rating 379