Скраппинг веб-сайта (Sensor Tower)

ТЗ: Программа для автосборки видео (локальная, для личного использования) Коротко Программа на Python, запускаетсяу меня на ПК (Windows). Делает faceless-видео формата «закадровый голос + сменяющийся видеоряд из фото и клипов» — как исторические документалки на YouTube (референсы прикреплю отдельно). Я ввожу тему → программа пишет сценарий, озвучивает, подбирает под каждый кусок текста видео/фото из бесплатных архивов, собирает → выдаёт готовый MP4. Только для меня. Без сайта, без пользователей, без продажи. Разделение ролей (важно понять) Claude (Anthropic API) — «мозг»: пишет сценарий, делит на сцены, выбирает лучший кадр по смыслу. Работает только с текстом и картинками. Код (ffmpeg/moviepy) — «руки»: ищет и качает файлы из архивов, режет, склеивает, накладывает звук, зум, переходы, экспортирует MP4. Claude видеофайлы НЕ монтирует — это делает код. Как работает (по шагам) 1. Ввод. Простое окно: ввожу тему ролика, выбираю голос озвучки из списка (список голосов подтягивается из ElevenLabs по API). Жму «Создать». Второй режим — вставить готовый сценарий. 2. Сценарий. Claude пишет сценарий по теме заданной длины. 3. Разбивка на сцены. Claude делит сценарий на смысловые сцены (длина по смыслу, не фиксирована) и для каждой возвращает: текст сцены; тип визуала: видео или фото; поисковый запросв двух форматах сразу (Claude отдаёт оба в одном ответе, лишних запросов и затрат нет): развёрнутая фраза — для стоков (Pexels/Pixabay), напр. «18th century royal portrait, dramatic turning point»; краткие ключевые термины/имена — для архивов (Wikimedia, LoC, Archive.org, Europeana), напр. «Marie Antoinette portrait». Код под каждый источник берёт подходящий формат. Claude генерирует запрос по СМЫСЛУ куска и контексту всего видео — даже для абстрактных кусков без явного объекта. Пустых кусков «без запроса» не бывает; highlight: true/false + оценка важности 1-10 (для интро-тизера). Смысловая сцена ≠ кадр. Claude делит текст по СМЫСЛУ (чтобы запрос был осмысленный). Код затем нарезает это на визуальные кадры 4-6 сек, подгоняя тайминг под озвучку: короткая сцена (≤6 сек) → 1 кадр; длинная сцена (напр. 12 сек) → 2-3 кадра по 4-6 сек, под каждый — РАЗНЫЙ, но близкий по смыслу визуал (та же тема, другие ракурсы/кадры), чтобы мысль не висела на одной статичной картинке. Правило 4-6 сек относится к кадру, а не к смысловой разбивке — они на разных уровнях и не конфликтуют. 4. Озвучка. Текст → ElevenLabs API выбранным голосом → аудио. Под длину аудио каждой сцены режется видеоряд. 5. Подбор кадра (ключевой процесс, см. раздел ниже). 6. Сборка через ffmpeg/moviepy: клипы/фото под тайминг озвучки, фото с зумом (эффект Кена Бёрнса), простые переходы, голос поверх. Выход:MP4 1920×1080. Подбор кадра (как выбирается видео/фото под сцену) Поиск во всех источниках сразу по запросу сцены. Под каждый источник берётся подходящий формат запроса (см. разбивку выше): для архивов — краткие термины/имена, для стоков — развёрнутая фраза. Цель — попадать в тему, а не в случайную картинку. Код отбирает топ-5 кандидатов из всей выдачи по баллам (scorer, см. правила ниже). Для видео код извлекает 2-3 стоп-кадра из разных точек клипа (начало/середина/конец) — чтобы Claude оценил клип по кадрам. Claude выбирает лучший из 5 кандидатов по смыслу (реально ли на кадре нужное, подходит ли по настроению сцены). Лимит 3 шага на сцену: нашли подходящее — стоп; если после проверки ничего не подошло — код берёт более общее фото по упрощённому запросу (оно точно найдётся) с усиленным движением. Проверяются ВСЕ кадры (разница в цене копеечная, а качество важнее). Правила отбора кандидатов (scorer) — чтобы брать хорошее, а не мусор Релевантность запросу (позиция в выдаче источника) — главный вес. Не использовалось раньше — проверка по локальной базе использованного, не повторять клипы в моих видео. Формат — горизонтальные 16:9 в приоритет. Качество — ПО-РАЗНОМУ для типа источника: современные стоки (Pexels/Pixabay) — отсекать мыло, требовать HD; исторические архивы — порог низкий/выключен, НЕ терять плёночные и хроникальные кадры, даже низкого разрешения (их ценность в самом материале, а не в чёткости). Длина клипа (для видео) — хватает ли покрыть сцену. Разнообразие — не брать много одинаковых кадров подряд из одного источника, перемешивать источники (чтобы видеоряд был разнообразным, а не из одного архива). Уникальность (меньше совпадений с чужими видео) Рандомизация выдачи (случайный из топ-N, не всегда первый), глубина поиска, локальная база использованного (не повторять клипы в моих видео), опционально — лёгкая обработка клипа (кроп/зеркало/скорость).Когда неиспользованные кадры под запрос кончились: код сначала расширяет поиск (другие источники, глубже в выдачу, переформулировка запроса). Если и это исчерпано — разрешает повтор ранее использованных по приоритету: сначала те, что брались давно (не в последних видео), с обязательной обработкой для визуального отличия. Видео не должно вставать из-за нехватки материала. Источники (все бесплатные, с API) Современное видео+фото: Pexels, Pixabay. Историческое / архивное (public domain): Wikimedia Commons, Archive.org, Library of Congress, Europeana, NASA, Smithsonian Open Access, Flickr Commons,openverse. Каждый источник — отдельный модуль, легко добавить новый. Приоритет источников зависит от темы (историческая → сначала архивы; современная → сначала стоки), настраивается в конфиге. Только public domain / свободные лицензии с правом коммерческого использования. Никакого парсинга чужих YouTube/сайтов, кусков фильмов, картинок «из гугла». Правила видеоряда Интро-тизер (первые 60 сек): нарезка самых эффектных кадров из всего ролика (сцены с наибольшей оценкой важности, где есть видео) под отдельный текст-вступление от Claude («в этом видео вы узнаете…»), кадры без пояснений — как интрига. Потом переход и основная часть. Чередование: видео-вставка минимум каждые ~6 сек, нельзя много фото подряд. Доля видео: не меньше ~40% времени — живые клипы, остальное — фото с движением. Длина кадра: 4-6 сек. Не мельтешить, не держать статику долго. Для чисто исторических тем, где видео нет — фото с усиленным движением (зум + панорама). Опции (вкл/выкл в настройках) Только фото — видео чисто из фото, без клипов. Каждое фото обязательно с движением (зум/ панорама) — статичных «мёртвых» кадров нет даже в этом режиме. Без озвучки — видео собирается по тексту без генерации голоса (код не обращается к ElevenLabs). Иначе — озвучка делается автоматически. Атмосферный оверлей (light leaks / dust & bokeh particles / film grain) — полупрозрачный слой с плавающими частицами/светом/лёгким туманом поверх видеоряда, чтобы кадры выглядели живыми. Установить 5-8 готовых оверлеев на выбор; регулировка прозрачности ползунком (0-100%); можно накладывать и на уже готовое видео отдельно. Бесплатные оверлеи: Pexels, Pixabay, Mixkit, Videezy. Субтитры (вшить или отдельным .srt). Обработка клипов для уникальности. Разрешение/формат, длина видео, доля видео, глубина поиска, число кандидатов (по умолч. 5). Экономия LLM (заложить по умолчанию) Модели — Claude (Anthropic API), раздельно для двух задач, параметр в настройках: проверка/выбор кадров (частая операция) →Claude Haiku — дешёвая, анализирует стоп-кадры (картинки), для оценки «подходит/нет» этого достаточно; генерация сценария и разбивка (редкая операция) →Claude Sonnet — для качества текста. Один API-ключ Claude даёт доступ ко всем моделям (Haiku, Sonnet и др.) — отдельные подписки не нужны. Модель для каждой задачи меняется в настройках, без правки кода. Если модель не выбрана — используется модель по умолчанию (не ломается). Картинки отправляются как превьюсреднего разрешения (~512-768px по длинной стороне) — достаточного, чтобы Claude уверенно распознал содержимое и оценил соответствие сцене. Не слать оригиналы в полном разрешении (лишние токены), но и НЕ уменьшать до потери деталей — приоритет у точности оценки, экономия вторична. Разрешение превью — параметр в настройках. Число кандидатов на кадр — параметр (по умолчанию 5). Управление местом на диске После сборки все промежуточные файлы (скачанные клипы, временные куски) удаляются автоматически — остаётся только готовый MP4. База использованного (список ID клипов) НЕ входит в автоочистку — это маленький текстовый файл, хранится постоянно. Чистятся только тяжёлые медиафайлы, не история использования. Лимит на кэш (параметр, напр. 5 ГБ): при превышении удаляются самые старые файлы. Папки для готовых видео и временных файлов задаю в настройках. Показ занятого места + кнопка «очистить кэш». Технические требования Python. Модульная структура (источники и LLM — сменные модули, чтобы легко заменить/добавить). Все API-ключи вводятся через интерфейс (раздел «Настройки»), хранятся в конфиге, не в коде. Простое окно (GUI — Tkinter/PyQt на выбор), запуск двойным кликом. Вся работа — через интерфейс (кнопки, поля, ползунки), без редактирования кода. README (установка, ключи, запуск), понятные логи, комментарии в коде. Интерфейс (меню и управление) Программа с боковым меню. Разделы: Новое видео — режим «сгенерировать по теме» ИЛИ «вставить свой сценарий» (переключатель), выбор голоса, длины, опции, кнопка «Создать». Во время сборки — экран прогресса по шагам (сценарий → озвучка → подбор кадров → сборка). Мои видео — список готовых роликов. Голоса — список голосов из ElevenLabs. Источники — список всех подключённых архивов: видно добавленные, можно включить/выключить каждый, задать приоритет, идобавить свой новый источник, если есть его API-ключ. Здесь же — ключи источников, где нужна регистрация (Pexels, Pixabay, Europeana). Оверлеи — выбор атмосферного оверлея и прозрачности. Настройки — раздел«API-ключи» (Claude, ElevenLabs и др. в одном месте), выбор моделей Claude, папки, разрешение/формат, лимит кэша. Очистить кэш — освободить место. Все ключи и настройки вводятся через интерфейс, не через файлы/код. Передача результата Весь исходный код в открытом виде (без обфускации) + собранная рабочая версия. Я могу сам запустить из исходников по инструкции. Код чистый и понятный, чтобылюбой другой программист мог продолжить. Все права на код после оплаты — мои. Что даю я API-ключи (Claude, ElevenLabs и источники, где нужна регистрация). Платное оплачиваю сам. Примеры видео-референсов и темы для тестов. Приёмка (готово, если) Запускаю → окно → ввожу тему, выбираю голос → «Создать» → получаю готовый MP4. Видеоряд по смыслу текста, чередование видео/фото, интро-тизер 60 сек, озвучка поверх. Работает минимум с 6 бесплатными источниками, поиск во всех сразу + отбор кандидатов. Подбор кадра: топ-5 кандидатов от кода → выбор лучшего через Claude (для видео — по стоп-кадрам), лимит 3 шага. Порог качества зависит от источника (архивы — не терять плёночны

Необходимо настроить удаленно парсер (через анидеск или тимвьювер), что-то сломалось и не корректно работает. В основном замена стартовых ссылок и настройка парсера. Сайт https://dveri-pol.com/

# Обзор проекта Premium Haztrak — это современная платформа для соблюдения экологических норм, разработанная для помощи организациям в управлении отслеживанием опасных отходов, электронными рабочими процессами манифестов и записями о соблюдении нормативных требований более безопасным, прозрачным и юридически обоснованным образом, специально разработанная для Офиса главного юрисконсульта, Департамента охраны окружающей среды штата Пенсильвания, США. Платформа построена вокруг отслеживания опасных отходов от колыбели до могилы, позволяя генераторам, перевозчикам, объектам, командам по соблюдению норм и юридическим специалистам управлять ключевыми записями, событиями отгрузки, сопроводительными документами, подписями, исправлениями и историей аудита в одной структурированной системе. Следующий этап проекта введет верификацию на основе блокчейна для укрепления целостности записей, цепочки хранения и готовности к аудиту без раскрытия конфиденциальных данных о соблюдении норм в блокчейне. # Текущий статус версии Текущая версия предоставляет основу для электронного отслеживания опасных отходов и демонстрирует, как цифровая система может поддерживать рабочие процессы, связанные с EPA e-Manifest и RCRAInfo. На этом этапе платформа сосредоточена на управлении основными записями об опасных отходах, включая рабочие процессы, связанные с манифестами, концепции отслеживания отгрузок, документацию по соблюдению норм и схемы интеграции для работы с официальными экологическими системами. Текущую систему следует рассматривать как базовый уровень для более продвинутого продукта по соблюдению норм. Цель сейчас — расширить ее до премиум-версии с более сильными юридическими, аудиторскими и верификационными возможностями. # Новые цели интеграции Основным улучшением станет слой верификации соблюдения норм на основе блокчейна. Этот блокчейн-слой не будет хранить частные записи об опасных отходах непосредственно в блокчейне. Вместо этого система будет генерировать криптографические доказательства для важных документов и событий, а затем привязывать эти доказательства к блокчейну, чтобы записи могли быть независимо проверены позже. # Ключевые точки интеграции включают: Доказательство записей манифеста на основе блокчейна Отслеживание цепочки хранения с доказательством подделки Хеширование документов, подписей, исправлений и событий отгрузки Проверяемые журналы аудита для нормативного и юридического обзора Генерация пакетов доказательств для споров, аудитов или расследований Безопасное хранение конфиденциальных данных вне блокчейна Ссылки на доказательства в блокчейне для проверки целостности записей Панель мониторинга соблюдения норм для высокорисковых, неполных или спорных записей Основные функции продукта Premium Haztrak должен включать: Управление манифестами и отгрузками Управление организацией и ролями пользователей Загрузка документов и хранение записей Отслеживание подписей и одобрений История исправлений и споров Хронология цепочки хранения Генерация доказательств на основе блокчейна Страница верификации для документов и записей Экспорт PDF, готовый к аудиту Генерация пакетов юридических доказательств Панель мониторинга деятельности по соблюдению норм Концепция интеграции блокчейна Компонент блокчейна будет работать как слой доказательства. Когда происходит критическое событие, такое как создание, подписание, исправление, получение или завершение манифеста, система будет генерировать хеш этого события или документа. Эти хеши могут быть сгруппированы и привязаны к блокчейну через смарт-контракт или реестр верификации. Это позволяет пользователю, аудитору, адвокату или регулятору позже подтвердить, соответствует ли запись оригинальной проверенной версии. Частные данные остаются защищенными в базе данных приложения или безопасном хранилище. Блокчейн хранит только доказательства верификации. # Ценность продукта Premium Haztrak улучшает соблюдение экологических норм, делая записи: Более отслеживаемыми Более надежными Легче поддающимися аудиту Легче проверяемыми Лучше подготовленными к юридическому обзору Более устойчивыми к подделке или недокументированным изменениям Продукт особенно полезен для организаций, которым нужна надежная документация, надежная история соблюдения норм и обоснованные записи в случае аудитов, вопросов по соблюдению норм, споров или судебных разбирательств. # Долгосрочное видение Долгосрочное видение Premium Haztrak — стать надежным цифровым слоем соблюдения норм для экологических записей. Начав с отслеживания опасных отходов и электронных рабочих процессов манифестов, платформа может позже расшириться в более широкие области соблюдения экологических норм, такие как разрешения, инспекции, записи о восстановлении, документация по соблюдению норм, отчетность по ESG и верификация углеродных кредитов. Цель Premium Haztrak проста: Сделать записи о соблюдении экологических норм безопасными, отслеживаемыми, проверяемыми и юридически обоснованными.

Необходимо создать современный интернет-магазин игрушек на WordPress (WooCommerce). Основные требования: - Адаптивный дизайн для ПК, планшетов и смартфонов. - Каталог товаров с категориями, фильтрами и поиском. - Страницы товаров с описанием, фотографиями, характеристиками и ценой. - Корзина и оформление заказа. - Интеграция популярных способов оплаты и доставки. - Личный кабинет покупателя. - Удобная панель управления для добавления и редактирования товаров. - Базовая SEO-оптимизация и высокая скорость загрузки сайта. - Настройка защиты, резервного копирования и SSL. Желательно использовать современную, легкую тему или создать индивидуальный дизайн. После завершения работы необходимо предоставить короткую инструкцию по управлению сайтом.

Необходим сбор данных по покупателям и продавьцам предметов искусства. Интересуют базы данных сайтов Ebay и профильных мировых сайтов по искусству.