Искусственный интеллект Глубокое обучение с Веб-скрейпингом

Я ищу опытного разработчика ИИ с экспертизой в области глубокого обучения и веб-скрейпинга. Цель этого проекта - разработать автоматизированную систему, которая извлекает данные с нескольких веб-сайтов, обрабатывает их с помощью моделей глубокого обучения и генерирует значимые инсайты.

Требования к проекту:

1. Веб-скрейпинг:

   • Разработать надежную систему веб-скрейпинга с использованием Python (например, BeautifulSoup, Scrapy, Selenium).

   • Извлекать структурированные и неструктурированные данные с целевых веб-сайтов.

   • Обрабатывать CAPTCHA и механизмы защиты от ботов при необходимости.

2. Интеграция глубокого обучения:

   • Использовать модели глубокого обучения (например, NLP, распознавание изображений или анализ шаблонов) для обработки извлеченных данных.

   • Реализовать предобученные модели (например, TensorFlow, PyTorch) или обучить пользовательскую модель.

   • Выполнять классификацию данных, анализ настроений или обнаружение объектов (в зависимости от требований).

3. Обработка и хранение данных:

   • Очистить и предварительно обработать собранные данные для обучения модели ИИ.

   • Эффективно хранить данные в базе данных (MongoDB, PostgreSQL или Firebase).

4. Автоматизация и развертывание:

   • Запланировать автоматизированный сбор данных через определенные интервалы.

   • Развернуть модель ИИ в облачной среде (AWS, GCP или Azure).

5. Вывод и отчетность:

   • Визуализировать обработанные данные с помощью панелей мониторинга (Matplotlib, Plotly или Power BI).

   • Генерировать отчеты на основе анализа ИИ.

Необходимые навыки:

✅ Python (BeautifulSoup, Scrapy, Selenium)
✅ Глубокое обучение (TensorFlow, PyTorch)
✅ Обработка данных (Pandas, NumPy)
✅ Управление базами данных (MongoDB, PostgreSQL)
✅ Облачное развертывание (AWS, GCP или Azure)
✅ Интеграция API

Результаты:

✔ Полностью функциональная система веб-скрейпинга и ИИ
✔ Обученная модель глубокого обучения для анализа данных
✔ Чистый и структурированный набор данных
✔ Развертывание и документация