Парсинг каталога драйверов
Задача: написать Bash-скрипт, который чем-то похож на “поискового паука”, он должен использовать Wget и Grep для выкачивания HTML по ссылкам, которые перечислены в Sitemap сайта.
Алгоритм скрипта:
Wget скачивает все файлы Sitemap.xml, которые указаны в robots.txt сайта
Конвертирует файлы Sitemap.xml в CSV формат
Wget запрашивает HTML-файлы из CSV
Grep чистит HTML код от мусора (по регуляркам)
Складывает файлы на HDD
Примечание: скачивать картинки, CSS и прочую статику не нужно, скачиваем только контент HTML-файлов.
Требования:
Поддержка много-поточности, чтобы управлять скоростью парсинга, выбрав количество одновременных скачиваний
Артефакты:
Структура Sitemap
Структура итоговых папок
Регулярные выражения для очистки от мусора
-
7 dni656 PLN
786 27 2 2 7 dni656 PLN
Добрый день, могу предложить вам решение на Python. Я работаю на Python уже более 3х лет, а конкретно в сфере парсинга больше 2х лет. За это время сделал довольно большое количество парсеров. Для реализации вашего проекта буду использовать Selenium beautiful soup и requests. Все зависит от сайта донора, сроки и стоимость примерная так как нужно увидеть сайт. Также помогу с настройкой сервера, поиском антикапчи и прокси, и дальнейшей поддержке проекта. Интересует качественное и полноценное решение? Пишите мне в ЛС.
-
2 dni123 PLN
956 14 0 2 dni123 PLN
Все вышесказанное могу реализовать на зеннопостере. Без дополнительных программ.
-
3 dni123 PLN
354 2 0 3 dni123 PLN
Здравствуйте, занимаюсь разработкой парсеров/грабберов боле 5-лет, могу предложить вариант на чистом PHP без использования сторонних библиотек, запускать скрипт можно будет через консоль/крон.
-
Есть смысл писать именно в Bash?
-
Не обязательно... Какие есть предложения?
-
Зависит от того как будете/хотите управлять потокам
-
Nodejs
-
NodeJS не подойдёт. Или Bash или чистый PHP.
-
чтобы управлять скоростью парсинга
Это по сайтам? Хотите управлять количество скриптов который работает с одним сайтом или что-то другое?
Список сайтов откуда берем?
-
Сайт только для парсинга всегда один и тот же. Хочу управлять количество потоков. Чтобы одновременно скачивалось, например по 20 файлов.
Список файлов берётся из Sitemap.xml. -
Каким образом хотите управлять потокам?
-
Редактированием конфига или передачей параметра в командной строке. Не очень важно... Конфигом, думаю, проще всего.
-
Можно глянуть донора, то есть откуда берется список сайтов? Это Гугл? Какой-то поисковик?
-
Отписал в личку...
-
Не получиться на чистом bash.
Можно с использованием headless browser, cypress и т.п.
-
Хотел бы тоже узнать кто донор?
и не лучше ли парсить сразу в бд, а не в фалы? -
Если на Bash, то в файл. Если на PHP или Python, то можно и в файл и в базу.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Parsowanie danych przez mobilne APISzukałem osoby z doświadczeniem w parsowaniu danych przez mobilne API, do parsowania e-commerce, rozetka i podobne Zadania: 1. Przechwytywanie ruchu aplikacji mobilnej (Android) konfiguracja proxy, analiza zapytań 2. Określenie potrzebnych punktów końcowych API, do których… Python, Parsowanie danych ∙ 22 godziny 41 minut temu ∙ 23 oferty |
Szukam programisty lub kodera do automatyzacji scrapingu danych 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing przypadkowo wysłałem ten link Programowanie stron internetowych, Parsowanie danych ∙ 1 dzień 1 godzina temu ∙ 31 ofert |
Stworzyć dashboard w https://airtable.com/ dotyczący efektywności reklamowych kreacji z facebook adsPełnoprawne TZ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Bazy danych i SQL, Parsowanie danych ∙ 5 dni 19 godzin temu ∙ 19 ofert |
Stworzenie pliku Exel do załadowania towarów na strony innych partnerów.Interesuje mnie, aby stworzyć tabelę Excel ze wszystkimi parametrami. Oto strona - https://heiztechnik.com.ua/ A pozycje, które mnie interesują, powinny być przeniesione: Kotły ręczne: 1) TIS UNI 15-95 kW (10) szt 2)TIS HARD 150-500 kW (7) szt Kotły na pelety: 1)TIS PELLET… Parsowanie danych ∙ 5 dni 23 godziny temu ∙ 37 ofert |
Wymagany programista do parsowania katalogu i automatyzacji importu danychSzczegółowe TZ w załączonym dokumencie proszę w odpowiedzi podać orientacyjną cenę i terminy realizacji czy masz doświadczenie w parsowaniu dużych katalogów jakie możliwe trudności lub ograniczenia widzisz w tym zadaniu Bazy danych i SQL, Parsowanie danych ∙ 6 dni 2 godziny temu ∙ 42 oferty |
Wielka Brytania