Оптимизация и автоматизация Stateless API для агрегации авиацион

Роль: Backend Engineer / DevOps.

Проблема клиента (Задача): Существующий сервер работал нестабильно из-за перегруженной базы данных, скрипты парсинга правительственных данных (FAA) падали на "грязных" CSV-файлах, а мобильное приложение клиента получало неактуальную информацию. Требовалось стабилизировать работу, переписать логику хранения и полностью автоматизировать процесс обновления.

Мое решение:

Смена архитектуры: Полностью отказался от тяжелой базы данных в пользу Stateless-архитектуры (генерация и раздача .csv.gz файлов на лету). Это снизило нагрузку на сервер в несколько раз.

Отказоустойчивость: Написал fault-tolerant парсеры для сложных гос. форматов данных (ArcGIS, FAA 28-Day Cycle), которые автоматически обходят битые строки и доводят процесс до 100%.

Инфраструктура и безопасность: Упаковал приложение в изолированный Docker-контейнер. Настроил Nginx Reverse Proxy с Bearer Token авторизацией для защиты API.

Умная автоматизация: Настроил Cron-задачи с логикой "Early Exit" (скрипт проверяет наличие обновлений на сайте источника и экономит ресурсы сервера, если данные не изменились).

Стек технологий: Python, FastAPI, Docker, Nginx, Bash, Linux (Ubuntu).