Стерео Камера SDK (+Переглядач) з Плагінними Двигунами Диспаратності

Резюме

Створити мінімальний, але масштабований SDK для кастомної стереокамери, яка надає:

1. плагінний інтерфейс диспаратності (алгоритми: SGBM, LightStereo, CREStereo; MVP: LightStereo CPU + LightStereo CUDA),

2. простий переглядач (стерео + глибина), та

Доставити MVP за 3 тижні, готову до виробництва структуру, чіткі точки розширення та CI. SDK повинен бути спроектований для крос-платформності та незалежності від мови (майбутні зв'язки для Python, Rust, Java).

Цільовий обсяг MVP (3 тижні)

Платформи (MVP)

• Основна розробка/тестування: Linux x86_64 (Ubuntu 22.04 або 24.04).

• Додатково (бажано, якщо дозволяє час): Windows 11.

• GPU: NVIDIA CUDA (12.x) для варіанту LightStereo CUDA (якщо GPU присутній). CPU-only все ще необхідно.

Основні модулі

1. Абстракція двигуна диспаратності

   • MVP реалізації:

     • LightStereoCPU (без GPU)

     • LightStereoCUDA (CUDA 12.x)

   • Тільки стуби (без реалізації) для SGBM та CREStereo для демонстрації точок розширення (повернути “не реалізовано”, але компілювати).

2. Переглядач (простий)

   • Мінімальний UI

   • Панелі:

     • Живий стерео перегляд (ліве/праве виправлене).

     • Перегляд глибини: кольоризована глибина, з динамічним регулятором діапазону + натискання для перевірки пікселя, щоб показати глибину (м) та диспаратність.

   • FPS + накладка затримки.

   • Вибір джерела (пустий каталог / плейсхолдер API камери).

   • Вибір алгоритму (LightStereo CPU/CUDA).

   • Запис/Відтворення:

     • Додатково, якщо дозволяє час: запис/читання простого формату набору даних (pngs + часові мітки + json).

3. Публічний C API (для майбутніх мовних зв'язків)

   • Надати тонкий C шар поверх C++ ядра

   • Демонстраційна прив'язка Python через pybind11 навколо C API. Це доводить життєздатність багатомовності зараз; Rust/Java буде додано пізніше, використовуючи той же C ABI.

Нецілі (MVP)

• Повна крос-платформна паритетність (macOS, ARM) — просто спроектувати для цього.

• Інтеграція драйвера камери виробничого класу — ми будемо використовувати чистий інтерфейс та пусте джерело зараз.

• Розширені функції UI (інструменти ROI, 3D точковий хмара) — можуть бути майбутньою роботою.

Технічний стек

• Мова: C++20 для ядра; C ABI для FFI; мінімальні C обгортки.

• Збірка: CMake (експортовані цілі, find_package готові).

• Комп'ютерне зору: OpenCV 4.8+.

• GPU: CUDA 12.x (додатково під час виконання).

• UI: Dear ImGui + GLFW (або Qt 6, якщо підрядник віддає перевагу, але потрібно зберігати чисту структуру).

• Зв'язки: pybind11 (демонстрація MVP).

• Тестування: GoogleTest + тести на основі даних; clang-format/clang-tidy.

• CI: GitHub Actions (збірка Linux + юніт-тести; за бажанням Windows).

Результати

1. Репозиторій вихідного коду.

2. Скрипти збірки (CMake) та README з:

   • попередні вимоги, збірка, запуск та приклади команд,

   • як викликати C API та прив'язку Python.

3. CLI інструменти

   • stereo_viewer (запустити переглядач; вибрати алгоритм; показати стерео+глибину).

   • stereo_benchmark (додатково: вимірює FPS/затримку на зразкових даних).

4. Демонстрація Python

   • Мінімальний приклад examples/python/run_lightstereo.py який завантажує два зображення + калібрування (жорстко закодоване) та повертає глибину.

5. Юніт-тести

   • Консистентність виправлення.

   • Тести диму API диспаратності для варіантів CPU/CUDA.

6. CI конвеєр (збірка Linux + тести).

7. Документація

   • API довідник (doxygen або md файли).

   • Діаграма огляду архітектури.

   • Посібник з розширення: “Як додати нову IDisparity реалізацію”.

8. Артефакти релізу

   • libstereo_sdk.so (або .dll), CLI інструменти та Python wheel для Linux (cp310+).

Графік & етапи (3 тижні)

• Тиждень 1

  • Скелет репозиторію, CMake, основні типи, скелет C API.

• Тиждень 2

  • Інтерфейс IDisparity + реалізація LightStereoCPU.

  • Переглядач (стерео + глибина; вибірник; накладка FPS).

  • Прив'язка Python (шлях виконання), початкові тести, CI.

• Тиждень 3

  • Реалізація LightStereoCUDA та вибір під час виконання.

  • Стабілізація C API; документація; приклади.

  • Перевірка продуктивності; юніт-тести; упаковка та доставка.

Кваліфікації підрядника

• Сильні знання C++ (C++17/20) та CMake.

• Досвід роботи з OpenCV.

• Досвід роботи з моделями глибини/диспаратності (LightStereo/CREStereo/SGBM) та CUDA ядрами або розгортанням.

• Знайомий з FFI та створенням C ABI для прив'язок Python/Rust/Java.

• Комфортно працює з Dear ImGui (або Qt) для швидких переглядачів.

• Бонус: упаковка (Python wheels), збірки для Windows, архітектури плагінів.