Мы ищем опытного программиста для разработки и оптимизации продвинутой системы сканирования веб-страниц. Проект сосредоточен на анализе угроз кибербезопасности, автоматизации и оптимальном использовании ресурсов сервера.
Оптимизационные задачи (для улучшения):
1. Управление пулом браузеров (Puppeteer):
В настоящее время каждому пользователю назначается отдельный экземпляр браузера. Необходимо оптимизировать систему так, чтобы активно работало не более 20 экземпляров, а последующие запросы ставились в очередь. Пользователь должен получать сообщение с оценочным временем ожидания сканирования в случае перегрузки.
2. Очистка временных каталогов Puppeteer:
Сканы генерируют большое количество временных файлов. Предыдущие попытки очистки приводили к прерыванию активных сессий. Необходимо реализовать гибкий и безопасный механизм, который удаляет старые данные, не нарушая текущие процессы.
Задачи для внедрения:
1. Политика безопасности контента (CSP):
Внедрение CSP в среде сканера для защиты от XSS, SQLi и других атак при обработке неизвестных URL. CSP должно быть спроектировано так, чтобы не влиять на качество сканирования и не генерировать ложноположительные результаты. Потребуется изоляция процесса рендеринга.
2. Поддержка сети TOR:
Добавление возможности сканирования ресурсов, доступных через TOR. Требуется установка соответствующих зависимостей и настройка прокси и портов для подключения к скрытой сети.
3. Определение уязвимостей (на основе CVE):
Интеграция с публичными базами данных CVE. Во время сканирования система будет сопоставлять известные уязвимости с распознанными технологиями (при условии, что скан не анализирует внутреннюю инфраструктуру, а только элементы, видимые публично).
4. Генерация хеша favicon:
Добавление функциональности генерации хеша (hash) favicon для быстрой идентификации клонов страниц или фишинга.
Запланированные функциональности (развитие продукта):
1. Уведомление об угрозах в один клик:
Система автоматической генерации отчетов об угрозах (Twitter, электронная почта, Telegram). Готовые к публикации форматы с метаданными – соответствующие стандартам.
2. Обнаружение тестовых сред (staging):
Автоматическое определение доменных имен, характерных для тестовых сред, используемых преступниками (например, dev., staging., panel.).
3. Умное отслеживание перенаправлений:
Визуализация цепочек перенаправлений. Помогает быстро идентифицировать фишинг, вредоносное ПО и другие скрытые ссылки.
5. OCR снимков экрана:
Встроенный OCR для извлечения текста из фишинговых скриншотов (адреса электронной почты, номера счетов, криптовалютные кошельки). Возможность быстрого копирования обнаруженных данных.
6. Анализатор Copy-Paste:
Модуль, позволяющий вставить содержимое подозрительного сообщения и автоматически извлечь IOC: IP, URL, хеш и т.д.
7. JS Crawler:
Автоматический анализ файлов JS в поисках URL и конечных точек. Генерация простого дерева зависимостей.
8. Рекурсивный охотник за URL:
Рекурсивное отслеживание ссылок из HTML и JS с ограничением глубины (например, до 3 уровней) с визуальным графом связей.
9. Динамический трекер перенаправлений:
Отслеживание статусов HTTP (301, 302, JS перенаправление) и построение пути перенаправлений в понятном формате.
10. Охотник за полезной нагрузкой:
Обнаружение встроенных исполняемых файлов (.exe, .apk, .zip и т.д.) в HTML/JS и пути к ним.
11. Деобфускатор JS:
Инструмент для деобфускации JavaScript – обнаруживает base64, eval и т.д., с подсветкой обнаруженных URL.
12. Извлекатель URL:
Одним кликом экспортирует все ссылки из файлов HTML и JS – полезно для ручного анализа или экспорта.
Если у вас есть опыт работы с Node.js, Puppeteer, безопасностью веб-приложений и вам нравится работать над проектами с высоким воздействием, свяжитесь с нами. Мы ищем кого-то, кто не только разбирается в коде, но и понимает логику работы наступательных и защитных инструментов в киберпространстве.
