Оптимізація та автоматизація Stateless API для агрегації авіацій
Роль: Інженер з розробки бекенду / DevOps.
Проблема клієнта (Задача): Існуючий сервер працював нестабільно через перевантажену базу даних, скрипти парсингу урядових даних (FAA) падали на "брудних" CSV-файлах, а мобільний додаток клієнта отримував неактуальну інформацію. Потрібно було стабілізувати роботу, переписати логіку зберігання і повністю автоматизувати процес оновлення.
Моє рішення:
Зміна архітектури: Повністю відмовився від важкої бази даних на користь Stateless-архітектури (генерація і роздача .csv.gz файлів на льоту). Це знизило навантаження на сервер в кілька разів.
Відмовостійкість: Написав fault-tolerant парсери для складних державних форматів даних (ArcGIS, FAA 28-Day Cycle), які автоматично обходять биті рядки і доводять процес до 100%.
Інфраструктура і безпека: Упакував додаток в ізольований Docker-контейнер. Налаштував Nginx Reverse Proxy з Bearer Token авторизацією для захисту API.
Розумна автоматизація: Налаштував Cron-завдання з логікою "Early Exit" (скрипт перевіряє наявність оновлень на сайті джерела і економить ресурси сервера, якщо дані не змінилися).
Стек технологій: Python, FastAPI, Docker, Nginx, Bash, Linux (Ubuntu).
Проблема клієнта (Задача): Існуючий сервер працював нестабільно через перевантажену базу даних, скрипти парсингу урядових даних (FAA) падали на "брудних" CSV-файлах, а мобільний додаток клієнта отримував неактуальну інформацію. Потрібно було стабілізувати роботу, переписати логіку зберігання і повністю автоматизувати процес оновлення.
Моє рішення:
Зміна архітектури: Повністю відмовився від важкої бази даних на користь Stateless-архітектури (генерація і роздача .csv.gz файлів на льоту). Це знизило навантаження на сервер в кілька разів.
Відмовостійкість: Написав fault-tolerant парсери для складних державних форматів даних (ArcGIS, FAA 28-Day Cycle), які автоматично обходять биті рядки і доводять процес до 100%.
Інфраструктура і безпека: Упакував додаток в ізольований Docker-контейнер. Налаштував Nginx Reverse Proxy з Bearer Token авторизацією для захисту API.
Розумна автоматизація: Налаштував Cron-завдання з логікою "Early Exit" (скрипт перевіряє наявність оновлень на сайті джерела і економить ресурси сервера, якщо дані не змінилися).
Стек технологій: Python, FastAPI, Docker, Nginx, Bash, Linux (Ubuntu).