Asynchroniczny bot Telegram do parsowania wiadomości z Hacker News
Opracowałem i pomyślnie zapakowałem do kontenera gotowego do produkcji asynchronicznego bota Telegram do automatycznego monitorowania i parsowania wiadomości IT z zasobu Hacker News.
Co zostało zrobione w ramach projektu:
1. Architektura i parsowanie: Napisano asynchroniczny skrypter na aiohttp i BeautifulSoup4. Bot działa w nieblokującym wątku, co zapewnia wysoką prędkość przetwarzania danych i natychmiastową reakcję.
2. Baza danych (SQLite / aiosqlite): Zrealizowano asynchroniczne przechowywanie historii publikacji. System automatycznie filtruje duplikaty, gwarantując, że użytkownicy kanału otrzymują tylko unikalne i świeże treści.
3. Zarządzanie zależnościami: Projekt został przeniesiony na nowoczesny standard PEP 621 z użyciem menedżera pakietów Poetry, co wyklucza konflikty bibliotek podczas wdrażania.
4. Konteneryzacja (Docker): Całkowicie skonfigurowano środowisko do wdrażania na dowolnym serwerze (VPS/VDS). Napisano zoptymalizowany Dockerfile, który czyści po sobie pamięć podręczną i systemowe śmieci, aby zminimalizować rozmiar końcowego obrazu.
5. Bezpieczeństwo: Konfiguracja aplikacji ściśle przestrzega zasad 12-Factor App — wszystkie prywatne klucze i tokeny Telegram zostały przeniesione do zmiennych środowiskowych (.env).
Projekt jest gotowy do wdrożenia na dowolnym serwerze Linux/Windows jednym poleceniem.
#python #scraping #Telegram-developer
Co zostało zrobione w ramach projektu:
1. Architektura i parsowanie: Napisano asynchroniczny skrypter na aiohttp i BeautifulSoup4. Bot działa w nieblokującym wątku, co zapewnia wysoką prędkość przetwarzania danych i natychmiastową reakcję.
2. Baza danych (SQLite / aiosqlite): Zrealizowano asynchroniczne przechowywanie historii publikacji. System automatycznie filtruje duplikaty, gwarantując, że użytkownicy kanału otrzymują tylko unikalne i świeże treści.
3. Zarządzanie zależnościami: Projekt został przeniesiony na nowoczesny standard PEP 621 z użyciem menedżera pakietów Poetry, co wyklucza konflikty bibliotek podczas wdrażania.
4. Konteneryzacja (Docker): Całkowicie skonfigurowano środowisko do wdrażania na dowolnym serwerze (VPS/VDS). Napisano zoptymalizowany Dockerfile, który czyści po sobie pamięć podręczną i systemowe śmieci, aby zminimalizować rozmiar końcowego obrazu.
5. Bezpieczeństwo: Konfiguracja aplikacji ściśle przestrzega zasad 12-Factor App — wszystkie prywatne klucze i tokeny Telegram zostały przeniesione do zmiennych środowiskowych (.env).
Projekt jest gotowy do wdrożenia na dowolnym serwerze Linux/Windows jednym poleceniem.
#python #scraping #Telegram-developer