Техническое Задание (ТЗ) для создания парсера.
1. Описание проекта:
Создание парсера на языке Python для сбора медиа контента (фото и видео) с веб-страниц хххх моделей. Парсер должен быть способен автоматически выполнять вход на страницы моделей, скачивать контент и структурировано сохранять его в хранилище MinIO.
2. Требования:
2.1 Источник данных:
Парсер будет брать данные с веб-страниц хххх моделей: хххх.
2.2 Функциональные требования:
- Парсер должен извлекать ссылки на OnlyFans модели из таблицы Airtable. - Алгоритм работы парсера:
1. Получение ссылки из Airtable.
2. Переход по полученной ссылке.
3. Автоматическая авторизация в аккаунте хххх. 4. Поиск фото и видео контента на странице модели. 5. Скачивание фото и видео контента.
- Скачиваемые изображения должны иметь формат jpg, а видео - mp4.
2.3 Нефункциональные требования:
- Текущие события и ошибки работы парсера должны записываться в лог-файл.
- Парсер должен иметь возможность асинхронного выполнения для оптимизации
скорости скачивания.(asynk или другой фреймворк) 2.4 Структура хранения данных:
- Данные должны быть сохранены в объектном хранилище MinIO. - Структура папок:
- "Название социальной сети" (например, хххх) - "Имя модели" (название модели или никнейм)
- "Фото" (для изображений) - "Видео" (для видео)
3. Экспорт данных:
- Скачанный медиа-контент будет сохранен в MinIO с учетом описанной выше структуры папок.
4. Поддержка работы с прокси и ReCaptcha:
- Парсер должен поддерживать использование внешних прокси для обеспечения анонимности и обхода блокировок.
- Механизм использования прокси должен быть реализован и настроен согласно требованиям заказчика.
- Есть необходимость обхода ReCaptcha, необходимо создать автоматический механизм для ее обработки.
5. Авторизация на странице хххх:
- Парсер должен иметь возможность автоматической авторизации на страницах OnlyFans моделей.
- Для этого, парсер должен принимать логин и пароль, либо использовать сохраненные данные для авторизации.
6. Временной алгоритм парсинга:
- Парсер должен иметь возможность регулярной проверки новых ссылок из таблицы Airtable (ежедневно).
- В случае обнаружения новых ссылок, парсер должен автоматически начать сбор контента с соответствующих страниц хххх моделей.
- Должен иметь механизм для периодической сверки существующего контента с новым (еженедельно).
7. Дополнительные детали:
- В случае необходимости использования платных инструментов для обхода капчи, их выбор и использование должны быть согласованы с заказчиком.
- Весь код парсера должен быть хорошо структурирован, документирован и комментирован для обеспечения понимания его логики и функциональности.
- Документация должна содержать инструкции по настройке и запуску Docker контейнера с парсером, а также описание алгоритма работы и использования.
-Возможно, чтобы парсер был основан на selenium web driver, при условии, что он будет работать в docker контейнере.
- Нужно чтобы скачанный контент не повторялся.
