Асинхронний Telegram-бот для парсингу новин з Hacker News
Розробив і успішно упакував у production-ready контейнер асинхронного Telegram-бота для автоматичного моніторингу та парсингу IT-новин з ресурсу Hacker News.
Що було зроблено в рамках проекту:
1. Архітектура та парсинг: Написано асинхронний скрапер на aiohttp та BeautifulSoup4. Бот працює в неблокуючому потоці, що забезпечує високу швидкість обробки даних та миттєву відповідь.
2. База даних (SQLite / aiosqlite): Реалізовано асинхронне сховище історії публікацій. Система автоматично фільтрує дублікати, гарантуючи, що користувачі каналу отримують тільки унікальний та свіжий контент.
3. Управління залежностями: Проект переведено на сучасний стандарт PEP 621 з використанням менеджера пакетів Poetry, що виключає конфлікти бібліотек при деплої.
4. Контейнеризація (Docker): Повністю налаштовано середовище для розгортання на будь-якому сервері (VPS/VDS). Написано оптимізований Dockerfile, що очищає за собою кеш та системне сміття для мінімізації розміру фінального образу.
5. Безпека: Конфігурація додатку строго дотримується принципів 12-Factor App — всі приватні ключі та токени Telegram винесені в змінні середовища (.env).
Проект готовий до деплою на будь-який Linux/Windows сервер однією командою.
#python #scraping #Telegram-розробник
Що було зроблено в рамках проекту:
1. Архітектура та парсинг: Написано асинхронний скрапер на aiohttp та BeautifulSoup4. Бот працює в неблокуючому потоці, що забезпечує високу швидкість обробки даних та миттєву відповідь.
2. База даних (SQLite / aiosqlite): Реалізовано асинхронне сховище історії публікацій. Система автоматично фільтрує дублікати, гарантуючи, що користувачі каналу отримують тільки унікальний та свіжий контент.
3. Управління залежностями: Проект переведено на сучасний стандарт PEP 621 з використанням менеджера пакетів Poetry, що виключає конфлікти бібліотек при деплої.
4. Контейнеризація (Docker): Повністю налаштовано середовище для розгортання на будь-якому сервері (VPS/VDS). Написано оптимізований Dockerfile, що очищає за собою кеш та системне сміття для мінімізації розміру фінального образу.
5. Безпека: Конфігурація додатку строго дотримується принципів 12-Factor App — всі приватні ключі та токени Telegram винесені в змінні середовища (.env).
Проект готовий до деплою на будь-який Linux/Windows сервер однією командою.
#python #scraping #Telegram-розробник