Аі Глибоке навчання з веб-скрапінгом

Я шукаю досвідченого розробника штучного інтелекту з експертизою в глибокому навчанні та веб-скрапінгу. Мета цього проекту - розробити автоматизовану систему, яка витягує дані з кількох веб-сайтів, обробляє їх за допомогою моделей глибокого навчання та генерує значущі висновки.

Вимоги до проекту:

1. Веб-скрапінг:

   • Розробити надійну систему веб-скрапінгу за допомогою Python (наприклад, BeautifulSoup, Scrapy, Selenium).

   • Витягувати структуровані та неструктуровані дані з цільових веб-сайтів.

   • Обробляти CAPTCHA та механізми захисту від ботів, якщо це необхідно.

2. Інтеграція глибокого навчання:

   • Використовувати моделі глибокого навчання (наприклад, NLP, розпізнавання зображень або аналіз шаблонів) для обробки витягнутих даних.

   • Впровадити попередньо навчені моделі (наприклад, TensorFlow, PyTorch) або навчити власну модель.

   • Виконати класифікацію даних, аналіз настроїв або виявлення об'єктів (залежно від вимог).

3. Обробка та зберігання даних:

   • Очищати та попередньо обробляти витягнуті дані для навчання моделі ШІ.

   • Ефективно зберігати дані в базі даних (MongoDB, PostgreSQL або Firebase).

4. Автоматизація та розгортання:

   • Запланувати автоматизоване витягування даних через певні інтервали.

   • Розгорнути модель ШІ в хмарному середовищі (AWS, GCP або Azure).

5. Вихідні дані та звітність:

   • Візуалізувати оброблені дані за допомогою інформаційних панелей (Matplotlib, Plotly або Power BI).

   • Генерувати звіти на основі аналізу ШІ.

Необхідні навички:

✅ Python (BeautifulSoup, Scrapy, Selenium)
✅ Глибоке навчання (TensorFlow, PyTorch)
✅ Обробка даних (Pandas, NumPy)
✅ Управління базами даних (MongoDB, PostgreSQL)
✅ Хмарне розгортання (AWS, GCP або Azure)
✅ Інтеграція API

Результати:

✔ Повністю функціональна система веб-скрапінгу та ШІ
✔ Навчена модель глибокого навчання для аналізу даних
✔ Чистий та структурований набір даних
✔ Розгортання та документація