Асинхронний парсер вакансій з Telegram-керуванням
Розробив систему автоматичного моніторингу вакансій з robota.ua з миттєвими сповіщеннями в Telegram.
Рішення дозволяє автоматично відстежувати нові вакансії за заданими ключовими словами, уникати дублювання та отримувати дані у зручному форматі для подальшого аналізу.
Можливості:
- Автоматичний збір даних 24/7
- Миттєві повідомлення в Telegram
- Захист від блокувань (429, 500, 502, 503, 504)
- Захист від дублікатів
- Збереження у CSV / JSONL / SQLite
- Docker-деплой на сервер за 1 команду
Функціонал:
- Повністю асинхронний парсинг (aiohttp)
- Retry з exponential backoff
- Telegram-бот для керування:
/start /stop /status /add /remove /interval
- Підтримка проксі з ротацією
- Логування + контроль стабільності
- Модульна архітектура (легко масштабувати)
Технології
- Python 3.12
- aiohttp
- aiogram
- beautifulsoup4 + lxml
- tenacity
- python-dotenv
- sqlite3
Архітектура дозволяє швидко масштабувати рішення або адаптувати його під будь-який веб-ресурс.
Рішення дозволяє автоматично відстежувати нові вакансії за заданими ключовими словами, уникати дублювання та отримувати дані у зручному форматі для подальшого аналізу.
Можливості:
- Автоматичний збір даних 24/7
- Миттєві повідомлення в Telegram
- Захист від блокувань (429, 500, 502, 503, 504)
- Захист від дублікатів
- Збереження у CSV / JSONL / SQLite
- Docker-деплой на сервер за 1 команду
Функціонал:
- Повністю асинхронний парсинг (aiohttp)
- Retry з exponential backoff
- Telegram-бот для керування:
/start /stop /status /add /remove /interval
- Підтримка проксі з ротацією
- Логування + контроль стабільності
- Модульна архітектура (легко масштабувати)
Технології
- Python 3.12
- aiohttp
- aiogram
- beautifulsoup4 + lxml
- tenacity
- python-dotenv
- sqlite3
Архітектура дозволяє швидко масштабувати рішення або адаптувати його під будь-який веб-ресурс.