Python парсер
1400 UAHДобрый день!
Задача:
1. Запуск под веб-сервером. Указываем название домена – запускаем парсинг.
2. Парсим с эмуляцией браузера (Web Scraping), для прогрузки страницы с выполненными скриптами (например, Ajax проекты) – главную страницу сайта.
2.1 Проверяем все ссылки на странице, добавляем их в базу(SQL), ставим страницы в очередь на парсинг.
2.2 Проверяем на дубли в базе.
2.3 Помечаем внутренние и внешние ссылки.
3. Сохраняем веб страницу целиком, сохраняя структуру папок (урл) как на сайте, вместе со всеми вложениями (картинки, доки и тд.).
4. Переходим к парсингу других страниц в очереди.
Пишем в базу(sql) все названия страниц(урл) и пути к ним на нашем сервере.
1. В отдельных таблицах размещаем информации о количестве ссылок каждой страницы(внутренние, внешние), коды ответов по ним.
1.1 Проверяем ссылки на наличие текста в теге
1.2 Проверяем ссылки на наличие названия в теге
2. В отдельных таблицах информации о количестве картинок, коды ответов по ним
2.1 Поверяем наличие описание в картинках
На выходе, должны получить папку с проектом: domesite.ru
Где все его страницы загружены и разложенные по папками:
/news/
/news/siteurlnews.html,
/news/groupe/siteurlnews.html,
siteurl1.html,
/about/siteurl2.html
/css/
/js/
а также папки со всеми css, js, картинками встречающимися в коде всех страниц.
Делаем проверку на дубли, чтобы не сохранять многократно одни и теже страницы, картинки, js, css и тд.
-
7 дней1500 UAH
186 2 0 7 дней1500 UAH
Здравствуйте, готов взяться за проект
Есть предположение в реализации , хочу обговорить некоторые детали в Лс
Сейчас жду только вашей обратной связи
-
2 дня5000 UAH
2225 32 0 2 дня5000 UAH
Доброго дня. Маю 15 років досвіду в Пайтон. Зможу виконати дане ТЗ . Пишіть в приват. Є ще деталі, які потрібно обговорити.
-
Есть screaming Frog для всего этого...
-
Он решает вопрос задачи: запуска задачи под веб сервером, сохранение данных в sql и выгрузка всего кода и страниц с сохранением на сервер?
-
если чутка пошаманить - думаю да - можно решить
-
Актуальные фриланс-проекты в категории Python
Разработка программного обеспечения с ИИ
Необходимо разработать программное обеспечение для автоматического обнаружения, захвата и сопровождения объекта с помощью видеокамеры и поворотного механизма.Исходные данные: Видеокамера с оптикой. Поворотное устройство по двум осям (азимут/угол места). Сервоприводы с… AI и машинное обучение, Python ∙ 6 часов 36 минут назад ∙ 9 ставок |
ТЗ НА ДОПРАЦЮВАНИЕ AI-БОТА ГЕНЕРАЦИИ ЛИЧНЫХ ПЕСЕНТЗ НА ДОПРАЦЮВАННЯ AI-БОТА ГЕНЕРАЦІЇ ПЕРСОНАЛЬНИХ ПІСЕНЬГОЛОВНА ЦІЛЬ Створити стабільний преміальний продукт, який: генерує максимально якісні персональні пісні; не вигадує факти про клієнта; працює стабільно під навантаженням; легко масштабується; дозволяє аналізувати та… Python, Разработка ботов ∙ 7 часов 41 минута назад ∙ 22 ставки |
Специалист по Excel / автоматизации процессов (Excel + желательно программирование)Ищем специалиста с ПРОДВИНУТЫМИ знаниями Excel для оптимизации существующего файла и автоматизации процессов. Будет большим преимуществом, если вы также имеете навыки программирования / VBA / Power Query / Power Automate или опыт создания сложной логики в Excel. Задачи проекта… Python, Базы данных и SQL ∙ 10 часов 40 минут назад ∙ 28 ставок |
Автоматизация процессоів через API и PhytonНиже описал текущий процесс и то, к какому результату хотелось бы прийти. Также прикладіваю файлы реалтного процесса чтобы лучше понять как он выглядит в ревльности Текущий процесс Сейчас весь процесс выполняется вручную: загрузка/выгрузка файлов, перенос данных между… AI и машинное обучение, Python ∙ 11 часов 41 минута назад ∙ 36 ставок |
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 1 день назад ∙ 74 ставки |
Львов