Python парсер
1400 UAHДобрый день!
Задача:
1. Запуск под веб-сервером. Указываем название домена – запускаем парсинг.
2. Парсим с эмуляцией браузера (Web Scraping), для прогрузки страницы с выполненными скриптами (например, Ajax проекты) – главную страницу сайта.
2.1 Проверяем все ссылки на странице, добавляем их в базу(SQL), ставим страницы в очередь на парсинг.
2.2 Проверяем на дубли в базе.
2.3 Помечаем внутренние и внешние ссылки.
3. Сохраняем веб страницу целиком, сохраняя структуру папок (урл) как на сайте, вместе со всеми вложениями (картинки, доки и тд.).
4. Переходим к парсингу других страниц в очереди.
Пишем в базу(sql) все названия страниц(урл) и пути к ним на нашем сервере.
1. В отдельных таблицах размещаем информации о количестве ссылок каждой страницы(внутренние, внешние), коды ответов по ним.
1.1 Проверяем ссылки на наличие текста в теге
1.2 Проверяем ссылки на наличие названия в теге
2. В отдельных таблицах информации о количестве картинок, коды ответов по ним
2.1 Поверяем наличие описание в картинках
На выходе, должны получить папку с проектом: domesite.ru
Где все его страницы загружены и разложенные по папками:
/news/
/news/siteurlnews.html,
/news/groupe/siteurlnews.html,
siteurl1.html,
/about/siteurl2.html
/css/
/js/
а также папки со всеми css, js, картинками встречающимися в коде всех страниц.
Делаем проверку на дубли, чтобы не сохранять многократно одни и теже страницы, картинки, js, css и тд.
-
7 днів1500 UAH
186 2 0 7 днів1500 UAH
Здравствуйте, готов взяться за проект
Есть предположение в реализации , хочу обговорить некоторые детали в Лс
Сейчас жду только вашей обратной связи
-
2 дні5000 UAH
2225 32 0 2 дні5000 UAH
Доброго дня. Маю 15 років досвіду в Пайтон. Зможу виконати дане ТЗ . Пишіть в приват. Є ще деталі, які потрібно обговорити.
-
Есть screaming Frog для всего этого...
-
Он решает вопрос задачи: запуска задачи под веб сервером, сохранение данных в sql и выгрузка всего кода и страниц с сохранением на сервер?
-
если чутка пошаманить - думаю да - можно решить
-
Актуальні фриланс-проєкти в категорії Python
Спеціаліст з Excel / автоматизації процесів (Excel + бажано програмування)Шукаємо спеціаліста з ПРОСУНУТИМИ знаннями Excel для оптимізації існуючого файлу та автоматизації процесів. Буде великою перевагою, якщо ви також маєте навички програмування / VBA / Power Query / Power Automate або досвід створення складної логіки в Excel. Завдання проекту Є… Python, Бази даних та SQL ∙ 1 година 22 хвилини тому ∙ 12 ставок |
Автоматизація процесів через API та PythonНижче описав поточний процес і те, до якого результату хотілося б прийти. Також прикладаю файли реального процесу, щоб краще зрозуміти, як він виглядає в реальності Поточний процес Зараз весь процес виконується вручну: завантаження/вивантаження файлів, перенесення даних… AI та машинне навчання, Python ∙ 2 години 23 хвилини тому ∙ 21 ставка |
Потрібно створити бот в тг для оплати підписки.
2000 UAH
Потрібно створити бот в телеграмі де користувач зможе оформити підписку на доступ до веб камер котрі знгаходяться у дворі. Організувати в боті оплату двух видів підписок (на місяць і на один день). Бот повинен автоматично перевірити оплату і після видавати посилання-доступу Python, Розробка ботів ∙ 15 годин 10 хвилин тому ∙ 69 ставок |
Парсинг та класифікація великого масиву зображеньПотрібно реалізувати проєкт зі збору та структурування великого масиву архітектурних зображень із відкритих вебджерел.Задача включає: автоматизований збір зображень; завантаження файлів у максимально доступній якості; класифікацію зображень за категоріями: Exterior; Interior;… Python, Парсинг даних ∙ 22 години 10 хвилин тому ∙ 30 ставок |
Бізнес-логіка платформи: підтвердження занять, контроль відвідуваності та історія уроків (DjangoДоопрацювання бізнес-логіки освітньої платформи: підтвердження занять, контроль відвідуваності та історія уроків (Django + React) Необхідно реалізувати повноцінну систему підтвердження уроків, контролю відвідуваності та зберігання історії підтверджень. Важливо Перед початком… Python ∙ 3 дні 3 години тому ∙ 29 ставок |
Львів