Парсер ОнліФанс

Python, Парсинг даних — неправильно зазначені категорії?

Проєкт перекладено автоматично. Увійдіть або зареєструйтесь, щоб побачити оригінал Технічне завдання (ТЗ) для створення парсера.1 .Опис проекту: Створення парсера на мові Python для збору медіа-контенту (фото і відео) з веб-сторінок хххх моделей.Парсер повинен бути в змозі автоматично здійснювати вхід на сторінки моделей, завантажувати зміст і структуровано зберігати його в складі MinIO.2 .2.1 Джерело даних: Парсер буде брати дані з веб-сторінок хххх моделей: хххх.2.2 Функціональні вимоги: - Парсер повинен витягнути посилання на OnlyFans моделі з таблиці Airtable.Алгоритм роботи парсера: 1.Отримання посилання з Airtable.2 .Перехід за отриманою посиланням.3 .Автоматична аутентифікація в аккаунті хххх.ЧетвертийПошук фото та відео контенту на сторінці моделі.5 .Завантаження фото та відео контенту.- Завантажені зображення повинні мати формат jpg, а відео - mp4.2.3 Нефункціональні вимоги: - Теперішні події та помилки роботи парсера повинні записуватися в лог-файл.Парсер повинен мати можливість асинхронного виконання для оптимізації швидкості завантаження.АСІНК2.4 Структура зберігання даних: - Дані повинні бути зберігані в об'єктивному складі MinIO.- Структура папок: - "Назва соціальної мережі" (наприклад, хххх) - "Назва моделі" (назва моделі або нікнейм) - "Фото" (для зображень) - "Відео" (для відео) 3.Експорт даних: - Завантажений медіа-контент буде зберігатися в MinIO з урахуванням описаної вище структури папок.ЧетвертийПідтримка роботи з прокси та ReCaptcha: - Парсер повинен підтримувати використання зовнішніх прокси для забезпечення анонімності та об'єму блокування.Механізм використання прокси повинен бути реалізований і налаштований відповідно до вимог клієнта.- Є необхідність обходу ReCaptcha, необхідно створити автоматичний механізм для її обробки.5 .Авторизація на сторінці ххх: - Парсер повинен мати можливість автоматичної ауторизації на сторінках OnlyFans моделей.Для цього парсер повинен приймати логін і пароль, або використовувати збережені дані для аутентифікації.6 .Тимчасовий алгоритм парсінг: - Парсер повинен мати можливість регулярного перевірки нових посилань з таблиці Airtable ( щоденно).- У разі виявлення нових посилань, парсер повинен автоматично почати збір контенту з відповідних сторінок хххх моделей.- Потрібно мати механізм для періодичного перетворення існуючого контенту з новим (недільно).7 .Додаткові деталі: - У разі необхідності використання платних інструментів для обходу капки, їх вибір і використання повинні бути узгоджені з клієнтом.Всі коди парсера повинні бути добре структуровані, документовані та коментувані, щоб забезпечити розуміння його логіки і функціональності.Документація повинна містити інструкції щодо налаштування та запуску Docker контейнера з парсером, а також опис алгоритму роботи та використання.-Можливо, що парсер був заснований на селену веб драйвер, за умови, що він буде працювати в докер контейнері.- Потрібно, щоб завантажений контент не повторювався.

Ставки 2

Vadym Riabchenko

5 1

Проєкти 6
Оцінка -
Рейтинг 200

Бюджет: 2500 UAH Термін: 2 дні

Готов виконати ваш проект, якісно, маю великий досвід в парсингу і знаю всі бібліотеки для нього.

У списку не показані ставки, приховані замовником чи фрилансером з Plus, а також ставки, що порушують правила

Актуальні фриланс-проєкти в категорії Python

Доопрацювання Python-програми під новий інтерфейс чатів Twitter (X)

Десктопні додатки 49 ставок 31 липня

Не вказано
Сигнальний бот для трейдингу

Розробка ботів 54 ставки 31 липня

3000 UAH
Парсинг сайту, обхід захисту Akami

Парсинг даних 39 ставок 30 липня

Не вказано
Розробка ІІ-бота для прийому та обробки замовлень від ресторанів у Telegram з інтеграцією в 1С

72 ставки 29 липня

20 000 UAH
Потрібно на поточній версії бота виправити баг.

Розробка ботів 87 ставок 27 липня

Не вказано

Vladislav K.
Україна

Проєктів 18
Оцінка 5.0
Рейтинг 890

Vadym Riabchenko

Ставки поки відсутні

Актуальні фриланс-проєкти в категорії Python

Доопрацювання Python-програми під новий інтерфейс чатів Twitter (X)

Сигнальний бот для трейдингу

Парсинг сайту, обхід захисту Akami

Розробка ІІ-бота для прийому та обробки замовлень від ресторанів у Telegram з інтеграцією в 1С

Потрібно на поточній версії бота виправити баг.