Асинхронный Telegram-бот для парсинга новостей с Hacker News
Разработал и успешно упаковал в production-ready контейнер асинхронного Telegram-бота для автоматического мониторинга и парсинга IT-новостей с ресурса Hacker News.
Что было сделано в рамках проекта:
1. Архитектура и парсинг: Написан асинхронный скрапер на aiohttp и BeautifulSoup4. Бот работает в неблокирующем потоке, что обеспечивает высокую скорость обработки данных и мгновенный отклик.
2. База данных (SQLite / aiosqlite): Реализовано асинхронное хранилище истории публикаций. Система автоматически фильтрует дубликаты, гарантируя, что пользователи канала получают только уникальный и свежий контент.
3. Управление зависимостями: Проект переведен на современный стандарт PEP 621 с использованием менеджера пакетов Poetry, что исключает конфликты библиотек при деплое.
4. Контейнеризация (Docker): Полностью настроена среда для развертывания на любом сервере (VPS/VDS). Написан оптимизированный Dockerfile, очищающий за собой кэш и системный мусор для минимизации размера итогового образа.
5. Безопасность: Конфигурация приложения строго следует принципам 12-Factor App — все приватные ключи и токены Telegram вынесены в переменные окружения (.env).
Проект готов к деплою на любой Linux/Windows сервер одной командой.
#python #scraping #Telegram-разработчик
Что было сделано в рамках проекта:
1. Архитектура и парсинг: Написан асинхронный скрапер на aiohttp и BeautifulSoup4. Бот работает в неблокирующем потоке, что обеспечивает высокую скорость обработки данных и мгновенный отклик.
2. База данных (SQLite / aiosqlite): Реализовано асинхронное хранилище истории публикаций. Система автоматически фильтрует дубликаты, гарантируя, что пользователи канала получают только уникальный и свежий контент.
3. Управление зависимостями: Проект переведен на современный стандарт PEP 621 с использованием менеджера пакетов Poetry, что исключает конфликты библиотек при деплое.
4. Контейнеризация (Docker): Полностью настроена среда для развертывания на любом сервере (VPS/VDS). Написан оптимизированный Dockerfile, очищающий за собой кэш и системный мусор для минимизации размера итогового образа.
5. Безопасность: Конфигурация приложения строго следует принципам 12-Factor App — все приватные ключи и токены Telegram вынесены в переменные окружения (.env).
Проект готов к деплою на любой Linux/Windows сервер одной командой.
#python #scraping #Telegram-разработчик