Python парсер
115 PLNДобрый день!
Задача:
1. Запуск под веб-сервером. Указываем название домена – запускаем парсинг.
2. Парсим с эмуляцией браузера (Web Scraping), для прогрузки страницы с выполненными скриптами (например, Ajax проекты) – главную страницу сайта.
2.1 Проверяем все ссылки на странице, добавляем их в базу(SQL), ставим страницы в очередь на парсинг.
2.2 Проверяем на дубли в базе.
2.3 Помечаем внутренние и внешние ссылки.
3. Сохраняем веб страницу целиком, сохраняя структуру папок (урл) как на сайте, вместе со всеми вложениями (картинки, доки и тд.).
4. Переходим к парсингу других страниц в очереди.
Пишем в базу(sql) все названия страниц(урл) и пути к ним на нашем сервере.
1. В отдельных таблицах размещаем информации о количестве ссылок каждой страницы(внутренние, внешние), коды ответов по ним.
1.1 Проверяем ссылки на наличие текста в теге
1.2 Проверяем ссылки на наличие названия в теге
2. В отдельных таблицах информации о количестве картинок, коды ответов по ним
2.1 Поверяем наличие описание в картинках
На выходе, должны получить папку с проектом: domesite.ru
Где все его страницы загружены и разложенные по папками:
/news/
/news/siteurlnews.html,
/news/groupe/siteurlnews.html,
siteurl1.html,
/about/siteurl2.html
/css/
/js/
а также папки со всеми css, js, картинками встречающимися в коде всех страниц.
Делаем проверку на дубли, чтобы не сохранять многократно одни и теже страницы, картинки, js, css и тд.
-
7 dni123 PLN
186 2 0 7 dni123 PLN
Здравствуйте, готов взяться за проект
Есть предположение в реализации , хочу обговорить некоторые детали в Лс
Сейчас жду только вашей обратной связи
-
2 dni411 PLN
2225 32 0 2 dni411 PLN
Доброго дня. Маю 15 років досвіду в Пайтон. Зможу виконати дане ТЗ . Пишіть в приват. Є ще деталі, які потрібно обговорити.
-
Есть screaming Frog для всего этого...
-
Он решает вопрос задачи: запуска задачи под веб сервером, сохранение данных в sql и выгрузка всего кода и страниц с сохранением на сервер?
-
если чутка пошаманить - думаю да - можно решить
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Tworzenie automatycznych wideo shorts
164 PLN
Co dokładnie muszę zrobić Muszę stworzyć agenta AI lub lekki content factory 1. To jest tworzenie pomysłu Referencja https://youtube.com/shorts/omgVX00yaD8?is=1Gz_TUUlftZnkxQv 2. To jest tworzenie tekstu 3. To jest tworzenie tła + tekst 3. Ożywienie tła, tekst pozostaje… AI i uczenie maszynowe, Parsowanie danych ∙ 4 godziny 39 minut temu ∙ 4 oferty |
Parsowanie emaili firm z określonej branży
411 PLN
Znajdź kontakty (e-mail, numer telefonu) firm, które zajmują się określonym biznesem, wskazanym w tym dokumencie Google https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=#sharing Wynik ma być w formie tabeli z kolumnami: 1. Telefon w… Parsowanie danych ∙ 13 godzin 40 minut temu ∙ 25 ofert |
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 1 dzień 18 godzin temu ∙ 42 oferty |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 2 dni 11 godzin temu ∙ 58 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 2 dni 15 godzin temu ∙ 29 ofert |
Lwów