Разработка UDP-парсера на С++ с оптимизацией сервера Ubuntu

1. Оптимизация Ubuntu Server:

• Установка последней стабильной версии Ubuntu Server.
• Выбор минимальной установки для сокращения фоновых процессов.
• Настройка сетевых параметров для увеличения размеров сетевых буферов.
• Отключение функций энергосбережения в BIOS/UEFI для постоянной высокой частоты процессора.
• Настройка системы для использования hugepages для оптимизации использования памяти.
• Установка и настройка инструментов мониторинга (htop, iotop, nload).

2. Разработка парсера на C++:

• Язык и версия: Использование C++17 или C++20.
• Библиотеки для парсинга:
  • cpp-httplib для HTTP-запросов.
  • Gumbo или htmlcxx для разбора HTML.
• Библиотеки для работы с сетью: ASIO (без Boost) для асинхронного ввода-вывода и работы с UDP.
• Библиотека логирования: spdlog.
• Многопоточность и асинхронность: Использование многопоточности или асинхронного программирования для эффективной обработки запросов и отправки данных. ASIO может быть использован для этой цели.
• База данных: Встроенная легкая база данных (например, SQLite) для хранения новостей с автоматическим присвоением уникального ID.
• Обработка ошибок: Реализовать систему обработки ошибок, используя исключения C++ или систему возврата кодов ошибок. Возможность восстановления после ошибок, особенно при сбоях сети или ошибок парсинга.
• Профайлер: Использование gprof или perf для определения "узких мест" в коде и последующей оптимизации.
• Документация: Подробная документация к коду, включая руководство пользователя и комментарии к ключевым частям кода.
• Тестирование: Реализация unit-тестов для проверки функционала парсера и сетевых операций.

3. Функциональные требования:

• Парсер должен извлекать актуальные данные с указанного веб-сайта.
• Автоматическая передача данных по протоколу UDP на заданные IP-адреса в формате <ID новости>, <актуальные данные>.
• Автоматическое присвоение ID каждой новости при добавлении в базу данных.
• Возможность масштабирования и добавления новых источников для парсинга без значительной переработки кода.