Парсинг данных с веб-сайта и интеграция с системой публикации данных

Необходимо разработать программное решение для парсинга данных с определенного веб-сайта, который имеет сложную структуру. Полученные данные должны быть обработаны и размещены в таблицу определенного формата, пригодную для дальнейшей публикации на другом веб-сайте или платформе.

**Цель:**

Создать инструмент для автоматизированного извлечения данных с указанного веб-сайта и преобразования их в структурированную таблицу, которая может быть легко интегрирована в систему публикации данных.

**Основные задачи:**

1. **Анализ веб-сайта:**

   - Провести анализ целевого веб-сайта, выявить структуру HTML, JavaScript, AJAX и других элементов, которые могут быть использованы для защиты данных.

   - Определить возможные ограничения и обходные пути для успешного парсинга, за исключением методов обхода капчи.

2. **Разработка парсера:**

   - Создать парсер, способный извлекать необходимые данные с сайта по заданным параметрам.

   - Обеспечить возможность динамического изменения параметров парсинга (например, изменение URL, пользовательских запросов и т.д.).

   - Реализовать поддержку работы через прокси для обхода ограничений по IP-адресам.

   - Реализовать логирование и мониторинг процессов парсинга для отслеживания ошибок и успешных запросов.

3. **Обработка данных:**

   - Разработать систему для преобразования сырых данных в структурированную таблицу (CSV, Excel, базы данных и т.д.).

   - Обеспечить проверку и фильтрацию данных для удаления дубликатов, некорректной или лишней информации.

4. **Интеграция с системой публикации:**

   - Создать интерфейс или API для передачи данных в систему публикации на другом сайте.

   - Обеспечить автоматическое обновление данных в случае изменений на целевом сайте.

5. **Тестирование и отладка:**

   - Провести тестирование парсера на различных примерах для проверки корректности работы.

   - Оптимизировать скорость работы и устойчивость к возможным изменениям на целевом сайте.

**Требования к кандидату:**

- Опыт разработки парсеров для веб-сайтов со сложной структурой.

- Знание инструментов и методов использования прокси для обхода ограничений.

- Опыт работы с системами хранения данных (SQL, NoSQL) и форматами данных (JSON, CSV, XML).

- Понимание принципов работы с API и интеграции данных в сторонние системы.

- Умение документировать код и процессы для дальнейшего сопровождения проекта.

**Дополнительные пожелания:**

- Опыт работы с динамическими веб-сайтами (использующими AJAX, JavaScript).

- Знание Python, BeautifulSoup, Selenium, Scrapy или аналогичных инструментов.

- Понимание SEO и принципов ранжирования веб-страниц (желательно).

**Ожидаемые результаты:**

- Полностью работоспособный парсер с возможностью изменения настроек.

- Документация по использованию и настройке парсера.

- Тесты, подтверждающие корректность работы парсера и соответствие результатам.