Скрипт парсинга ссылок с сайта школы на обучающие видеоролики
637 UAHЕсть портал Российской образовательной школы - https://resh.edu.ru/subject/12/5/
Отличный материал для домашнего обучения, всем нас устраивает для домашнего обучения.
Однако, из-за карантина сайт перегружен и тормозит, заниматься невозможно, и решения этого особо не предвидится, общался с техподдержкой, "денег нет, но вы держитесь".
Придется свои задачи решать самим.
Итак, необходимо собрать с портала все ссылки на видеофайлы и сложить их в таблицу mysql в формате - предмет, класс, номер урока, название урока, ссылка на видеоролик, вроде все.
Коммерческого использования для этой задачи не предполагается, это задача для наших личных целей для обучения детей на карантине, поэтому прошу не загибать цены.
Для примера прямая ссылка на страницу с видеоуроком - https://resh.edu.ru/subject/lesson/7711/main/234760/
Сайт тормозит, но страницы открываются "через раз", но все же открываются. Ночью нагрузка спадет, когда ученики всей России будут спать.
Отзыв заказчика о сотрудничестве с Антоном К.
Скрипт парсинга ссылок с сайта школы на обучающие видеороликиВсе хорошо, все работает, спасибо. Задача оказалась сложнее, чем ожидалась, с рядом нюансов - но кажется, мы все-таки с ней справились)
-
Сайт слишком перегружен чтобы даже посмотреть на него. Нужно выделить какой-то отдельный путь для парсера иначе парсинг может занять часы с такими задержками.
-
Странички открываются "через раз", но посмотреть можно. Скрипт хочу запустить ночью, когда ученики спят. И скачивать планирую поэтапно - сначала один предмет для старшего, потом второй для среднего и т.д.
-
Какой-то UI нужен для этого? Вы говорите что хотите делать парсинг "поэтапно".
-
Вам нужны ссылки на файл в m3u8 ? И да вам нужны все классы или какие то конкретные ?
-
M3u8 это не видеофайл, это какой то конфигурационный файл. Лучше все классы сразу собрать, скрипту же все равно, сколько страниц обходить, принцип парсинга от этого не меняется)
-
Не беритесь за эту работу. Там все видеофайлы порезаны на 3-секундные фрагменты. Доступ к файлам только по AJAX с динамично генерируемыми ключами.
Мороки там столько, что...
-
Вам необходимы ссылки на видеоролики ( https://video.resh.edu.ru/widgets/view/c395e277c325d12ac2a53ce45080458d )
или сакачанные видеофайлы?
-
Ссылки именно на видеофайлы, не на виджет плеера. Не скачанные видеофайлы, по ссылкам я их сам скачаю.
-
Вся проблема заключается в том, что из таких плееров невозможно достать ссылки на видеофайлы, поэтому я могу написать для вас скрипт, который будет скачивать видеоролики из приведённых выше ссылок.
-
В процессе парсинга возникли следующие ньюансы:
1. Присутствует некоторый процент прямых ссылок на видеофайл ( https://resh.edu.ru/uploads/lesson_extract/7260/20200319164350/OEBPS/objects/e_alge_7_15_1/5dc7bf2ce2002477581015cc.mp4 )
2. Присутствуют уроки в которых нет видео ( https://resh.edu.ru/subject/lesson/1971/main/ )
-
Актуальные фриланс-проекты в категории Веб-программирование
Перенос сайта на Shopify
1123 UAH
Нужно перенести текущий сайт jdfurniture.uk с OpenCart на платформу Shopify. Сейчас сайт на OpenCart в целом нас устраивает по структуре и логике работы. Основная причина переноса — проблемы с платежными системами. На Shopify таких проблем быть не должно. Также для нас важно,… HTML и CSS верстка, Веб-программирование ∙ 13 часов 3 секунды назад ∙ 22 ставки |
Веб-сайт для клининговой компании (3 языка: PL/EN/UKR) – требуется укринский языкИщу опытного веб-разработчика / программиста для создания веб-сайта для клининговой компании (отрасль уборки).Ключевая информация о проекте:Языки сайта: Сайт будет трёхязычным (польский, английский и украинский).Основное требование: Ищу программиста, для которого украинский язык… Веб-программирование ∙ 14 часов 49 минут назад ∙ 73 ставки |
DevOps / Системный администратор для переноса и защиты WordPress-сайта
Ищем опытного DevOps-инженера или системного администратора для разового проекта с возможностью дальнейшей технической поддержки. У нас основной коммерческий сайт на WordPress. Сейчас он размещен на общем хостинге, в последнее время мы сталкиваемся с повышенным количеством… CMS, Веб-программирование ∙ 17 часов 20 минут назад ∙ 28 ставок |
Разработка веб-платформы для трейдинга с интеграцией данных SBPro, отображением кластеров, ликвидностиРазработка веб-платформы для трейдинга с интеграцией данных SBPro, отображением кластеров, ликвидности, крупных лимитных заявок (Clouds), HeatMap и автоматическими настройками индикаторов для различных таймфреймов Этап 1. Подключение к Transaq API Получение рыночных данных в… Java, Веб-программирование ∙ 18 часов 9 минут назад ∙ 32 ставки |
Вывести посты из Инстаграма на сайт (опенкарт)
700 UAH
Здравствуйте. Нужно настроить функционал, чтобы на сайте (OpenCart) отображался блок с постами Instagram. Отзовитесь, кто делал и знает как ) Спасибо ) По стоимости договоримся, не знаю, сколько это стоит. HTML и CSS верстка, Веб-программирование ∙ 22 часа 22 минуты назад ∙ 45 ставок |