Opracowanie lub skonfigurowanie parsowania/zbieracza czatów Telegram

Jest wiele otwartych grup na Telegramie, gdzie ludzie dzielą się interesującymi informacjami. Aby skrócić czas poszukiwania tych ciekawostek (obecnie odbywa się to ręcznie), należy opracować (lub dostosować, jeśli istnieje gotowe rozwiązanie) parser/grabber, który będzie pobierał całą korespondencję z ostatniego dnia,   a za pomocą LLM (Open Ai, Antropic itp.) wyszukiwał w niej coś interesującego. Na przykład, ktoś powiedział, że jutro odbędzie się jakieś ciekawe wydarzenie, lub trwa nabór do grupy gimnastyki dla dzieci. A jeśli ciekawostka zostanie znaleziona, po prostu dodawać ją do arkusza Google (lub wysyłać do bota Telegram, który już będzie dodawał do arkusza przez usługę SendPulse).

Szukam wykonawcy, który ma odpowiednie doświadczenie.

Oto trochę dokładniej:

Cel projektu:
Stworzyć system automatyzacji zbierania i sortowania przydatnych informacji z grup Telegram. Główne zadanie — zmniejszyć nakład pracy wolontariuszy na monitorowanie informacji i zapewnić dziennikarzom gotowy dostęp do ważnych danych do pisania notatek i wiadomości.

Opis zadania:

1. Parsowanie grup Telegram:

   • Przybliżona liczba — około 40-50 grup Telegram.
   • Ważna automatyzacja procesu pozyskiwania całej korespondencji z ostatnich 24 godzin dla każdej grupy. Wszystkie wiadomości powinny być zebrane w jednym miejscu do debugowania i dalszego przetwarzania.

2. Przetwarzanie danych:

   • Zebrane wiadomości należy sortować na przydatne i nieprzydatne za pomocą sieci neuronowej, takiej jak ChatGPT lub innej LLM (large language model). Informacje, które uważamy za przydatne (mogą być dodane):
     • Informacje o nieruchomościach (na przykład, ogłoszenia o wolnych mieszkaniach).
     • Informacje o usługach medycznych (na przykład, rekomendacje lekarzy, informacje o tymczasowej nieobecności lekarzy).
     • Aneksy wydarzeń dla dzieci i dorosłych (koncerty, zajęcia, kółka itp.).
     • Ogłoszenia sprzedam/oddaj/kupię/szukam.
   • System musi być w stanie automatycznie klasyfikować wiadomości według kategorii (które mogą być dodawane), na przykład: nieruchomości, medycyna, usługi, wydarzenia, towary, reklama.

3. Format przechowywania informacji:

   • Wszystkie przydatne informacje powinny być zebrane w wygodnej formie. Możliwe opcje realizacji:
     • Arkusz Google: Każda wiadomość w osobnym wierszu z podaniem:
       • Grupy i miasta, z których otrzymano wiadomość.
       • Link do wiadomości w grupie.
       • Typu wiadomości (nieruchomości, medycyna, wydarzenia itp.).
     • Trello: Dodawanie kart w Trello, gdzie każda karta reprezentuje wiadomość z określoną kategorią i linkiem do oryginalnej wiadomości.
     • Bot Telegram: Wysyłanie przefiltrowanych wiadomości do bota z podaniem tych samych informacji (miasto, typ wiadomości, link do oryginału).

4. Elastyczność realizacji:

   • Można zaproponować własne opcje przechowywania i przetwarzania danych, opierając się na swoim doświadczeniu. Najważniejsze — filtrowanie informacji z dużej liczby grup i stworzenie wygodnego systemu do przekazywania przydatnych wiadomości dziennikarzom.
   • Możliwy wybór dowolnego odpowiedniego narzędzia do integracji z LLM, na przykład, użycie OpenAI API do oceny wiadomości lub innego odpowiedniego rozwiązania.
   • Możliwe jest również półautomatyczne rozwiązanie, jeśli to zmniejszy czas rozwoju i koszty.

5. Dodatkowe wymagania:

   • Regularność: System powinien automatycznie przeprowadzać parsowanie czatów codziennie i przetwarzać dane w krótkim czasie (do kilku minut).
   • Skalowalność: Możliwość dodawania nowych miast i grup w przyszłości. A także mieć możliwość bardziej precyzyjnego dostosowania zainteresowania wiadomościami.

W ten sposób główne zadanie — stworzenie systemu, który codziennie automatycznie będzie parsował wiadomości w 40-50 grupach Telegram, filtrował je przez sieć neuronową i przekazywał przydatne informacje w wygodnym formacie dla zespołu.