Парсер ОнлиФанс

                                                                        

Техническое Задание (ТЗ) для создания парсера.

                                                                                               

1. Описание проекта:
Создание парсера на языке Python для сбора медиа контента (фото и видео) с веб-страниц хххх моделей. Парсер должен быть способен автоматически выполнять вход на страницы моделей, скачивать контент и структурировано сохранять его в хранилище MinIO.

                       

2. Требования:

                       

2.1 Источник данных:
Парсер будет брать данные с веб-страниц хххх моделей: хххх.

                       

2.2 Функциональные требования:
- Парсер должен извлекать ссылки на OnlyFans модели из таблицы Airtable. - Алгоритм работы парсера:

                       

1. Получение ссылки из Airtable.
2. Переход по полученной ссылке.
3. Автоматическая авторизация в аккаунте хххх. 4. Поиск фото и видео контента на странице модели. 5. Скачивание фото и видео контента.

                       

- Скачиваемые изображения должны иметь формат jpg, а видео - mp4.

                       

2.3 Нефункциональные требования:
- Текущие события и ошибки работы парсера должны записываться в лог-файл.
- Парсер должен иметь возможность асинхронного выполнения для оптимизации

                       

скорости скачивания.(asynk или другой фреймворк) 2.4 Структура хранения данных:

                       

- Данные должны быть сохранены в объектном хранилище MinIO. - Структура папок:

                       

- "Название социальной сети" (например, хххх) - "Имя модели" (название модели или никнейм)

                       

- "Фото" (для изображений) - "Видео" (для видео)

                       

3. Экспорт данных:

                       

- Скачанный медиа-контент будет сохранен в MinIO с учетом описанной выше структуры папок.

                       

4. Поддержка работы с прокси и ReCaptcha:

                                                       

                                                                        

- Парсер должен поддерживать использование внешних прокси для обеспечения анонимности и обхода блокировок.

                       

- Механизм использования прокси должен быть реализован и настроен согласно требованиям заказчика.

                       

- Есть необходимость обхода ReCaptcha, необходимо создать автоматический механизм для ее обработки.

                       

5. Авторизация на странице хххх:

                       

- Парсер должен иметь возможность автоматической авторизации на страницах OnlyFans моделей.

                       

- Для этого, парсер должен принимать логин и пароль, либо использовать сохраненные данные для авторизации.

                       

6. Временной алгоритм парсинга:

                       

- Парсер должен иметь возможность регулярной проверки новых ссылок из таблицы Airtable (ежедневно).

                       

- В случае обнаружения новых ссылок, парсер должен автоматически начать сбор контента с соответствующих страниц хххх моделей.

                       

- Должен иметь механизм для периодической сверки существующего контента с новым (еженедельно).

                       

7. Дополнительные детали:

                       

- В случае необходимости использования платных инструментов для обхода капчи, их выбор и использование должны быть согласованы с заказчиком.

                       

- Весь код парсера должен быть хорошо структурирован, документирован и комментирован для обеспечения понимания его логики и функциональности.

                       

- Документация должна содержать инструкции по настройке и запуску Docker контейнера с парсером, а также описание алгоритма работы и использования.

                       

-Возможно, чтобы парсер был основан на selenium web driver, при условии, что он будет работать в docker контейнере.

                       

- Нужно чтобы скачанный контент не повторялся.