Python парсер
32 USDДобрый день!
Задача:
1. Запуск под веб-сервером. Указываем название домена – запускаем парсинг.
2. Парсим с эмуляцией браузера (Web Scraping), для прогрузки страницы с выполненными скриптами (например, Ajax проекты) – главную страницу сайта.
2.1 Проверяем все ссылки на странице, добавляем их в базу(SQL), ставим страницы в очередь на парсинг.
2.2 Проверяем на дубли в базе.
2.3 Помечаем внутренние и внешние ссылки.
3. Сохраняем веб страницу целиком, сохраняя структуру папок (урл) как на сайте, вместе со всеми вложениями (картинки, доки и тд.).
4. Переходим к парсингу других страниц в очереди.
Пишем в базу(sql) все названия страниц(урл) и пути к ним на нашем сервере.
1. В отдельных таблицах размещаем информации о количестве ссылок каждой страницы(внутренние, внешние), коды ответов по ним.
1.1 Проверяем ссылки на наличие текста в теге
1.2 Проверяем ссылки на наличие названия в теге
2. В отдельных таблицах информации о количестве картинок, коды ответов по ним
2.1 Поверяем наличие описание в картинках
На выходе, должны получить папку с проектом: domesite.ru
Где все его страницы загружены и разложенные по папками:
/news/
/news/siteurlnews.html,
/news/groupe/siteurlnews.html,
siteurl1.html,
/about/siteurl2.html
/css/
/js/
а также папки со всеми css, js, картинками встречающимися в коде всех страниц.
Делаем проверку на дубли, чтобы не сохранять многократно одни и теже страницы, картинки, js, css и тд.
-
7 days34 USD
186 2 0 7 days34 USD
Здравствуйте, готов взяться за проект
Есть предположение в реализации , хочу обговорить некоторые детали в Лс
Сейчас жду только вашей обратной связи
-
2 days113 USD
2225 32 0 2 days113 USD
Доброго дня. Маю 15 років досвіду в Пайтон. Зможу виконати дане ТЗ . Пишіть в приват. Є ще деталі, які потрібно обговорити.
-
Есть screaming Frog для всего этого...
-
Он решает вопрос задачи: запуска задачи под веб сервером, сохранение данных в sql и выгрузка всего кода и страниц с сохранением на сервер?
-
если чутка пошаманить - думаю да - можно решить
-
Current freelance projects in the category Data Parsing
Creation of automatic video shorts
45 USD
What exactly do I need I need to create a light AI agent or content factory 1. This is idea creation Reference https://youtube.com/shorts/omgVX00yaD8?is=1Gz_TUUlftZnkxQv 2. This is text creation 3. This is background creation + text 3. Animating the background while keeping the… AI & Machine Learning, Data Parsing ∙ 21 minutes back ∙ 3 proposals |
Parsing company emails from a specific industry
113 USD
Find contacts (e-mail, phone number) of companies engaged in the specified business mentioned in this Google document https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=sharing The result should be in the form of a table with the following… Data Parsing ∙ 9 hours 23 minutes back ∙ 23 proposals |
Need a parser for the online store https://www.lcsc.com/It is necessary to regularly (once a month, or upon script launch) obtain up-to-date information about the products available in the store. https://www.lcsc.com/ from the catalog of all sections.… Data Parsing ∙ 1 day 14 hours back ∙ 42 proposals |
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 2 days 7 hours back ∙ 58 proposals |
Transfer the program - the server where the program was located has crashed (officially permitted parsing of government data)
46 USD
Hello! My client has encountered the case described below. We need help transferring to a new server and testing the program. It would be better to have a programmer who understands parsing. Software & Server Configuration, Data Parsing ∙ 2 days 11 hours back ∙ 29 proposals |
Lvov