Парсинг каталога драйверов
Задача: написать Bash-скрипт, который чем-то похож на “поискового паука”, он должен использовать Wget и Grep для выкачивания HTML по ссылкам, которые перечислены в Sitemap сайта.
Алгоритм скрипта:
Wget скачивает все файлы Sitemap.xml, которые указаны в robots.txt сайта
Конвертирует файлы Sitemap.xml в CSV формат
Wget запрашивает HTML-файлы из CSV
Grep чистит HTML код от мусора (по регуляркам)
Складывает файлы на HDD
Примечание: скачивать картинки, CSS и прочую статику не нужно, скачиваем только контент HTML-файлов.
Требования:
Поддержка много-поточности, чтобы управлять скоростью парсинга, выбрав количество одновременных скачиваний
Артефакты:
Структура Sitemap
Структура итоговых папок
Регулярные выражения для очистки от мусора
-
7 дней8000 UAH
786 27 2 2 7 дней8000 UAH
Добрый день, могу предложить вам решение на Python. Я работаю на Python уже более 3х лет, а конкретно в сфере парсинга больше 2х лет. За это время сделал довольно большое количество парсеров. Для реализации вашего проекта буду использовать Selenium beautiful soup и requests. Все зависит от сайта донора, сроки и стоимость примерная так как нужно увидеть сайт. Также помогу с настройкой сервера, поиском антикапчи и прокси, и дальнейшей поддержке проекта. Интересует качественное и полноценное решение? Пишите мне в ЛС.
-
2 дня1500 UAH
956 14 0 2 дня1500 UAH
Все вышесказанное могу реализовать на зеннопостере. Без дополнительных программ.
-
3 дня1500 UAH
354 2 0 3 дня1500 UAH
Здравствуйте, занимаюсь разработкой парсеров/грабберов боле 5-лет, могу предложить вариант на чистом PHP без использования сторонних библиотек, запускать скрипт можно будет через консоль/крон.
-
Есть смысл писать именно в Bash?
-
Не обязательно... Какие есть предложения?
-
Зависит от того как будете/хотите управлять потокам
-
Nodejs
-
NodeJS не подойдёт. Или Bash или чистый PHP.
-
чтобы управлять скоростью парсинга
Это по сайтам? Хотите управлять количество скриптов который работает с одним сайтом или что-то другое?
Список сайтов откуда берем?
-
Сайт только для парсинга всегда один и тот же. Хочу управлять количество потоков. Чтобы одновременно скачивалось, например по 20 файлов.
Список файлов берётся из Sitemap.xml. -
Каким образом хотите управлять потокам?
-
Редактированием конфига или передачей параметра в командной строке. Не очень важно... Конфигом, думаю, проще всего.
-
Можно глянуть донора, то есть откуда берется список сайтов? Это Гугл? Какой-то поисковик?
-
Отписал в личку...
-
Не получиться на чистом bash.
Можно с использованием headless browser, cypress и т.п.
-
Хотел бы тоже узнать кто донор?
и не лучше ли парсить сразу в бд, а не в фалы? -
Если на Bash, то в файл. Если на PHP или Python, то можно и в файл и в базу.
-
Актуальные фриланс-проекты в категории Парсинг данных
База сайтов на woocommerceНеобходимо собрать базу украинских сайтов интернет-магазинов на woocommerce с контактами, которые указаны на сайтах. Только работающие сайты (индикатор: обновление каталога/контента, рабочий домен) Формат таблицы - адрес сайта, номер телефона, e-mail. Парсинг данных ∙ 2 дня 8 часов назад ∙ 21 ставка |
Создать дашборд в https://airtable.com/ по результативности рекламных креативов из facebook adsПолноценное ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Базы данных и SQL, Парсинг данных ∙ 3 дня 22 часа назад ∙ 18 ставок |
Создание файла Exel для загрузки товаров на сайты других партнеров.Меня интересует, чтобы сделать таблицу Excel со всеми параметрами. Вот сайт - https://heiztechnik.com.ua/ И позиции, которые интересуют, чтобы были перенесены : Ручные котлы : 1) TIS UNI 15-95 кВт (10) шт 2)TIS HARD 150-500 кВт (7) шт Пеллетные котлы: 1)TIS PELLET 15-95 кВт… Парсинг данных ∙ 4 дня 3 часа назад ∙ 36 ставок |
Требуется разработчик для парсинга каталога и автоматизации импорта данныхПодробное ТЗ в прикрепленном документе прошу в отклике указать ориентировочную стоимость и сроки реализации есть ли опыт работы с парсингом крупных каталогов какие возможные сложности или ограничения вы видите в данной задаче Базы данных и SQL, Парсинг данных ∙ 4 дня 5 часов назад ∙ 41 ставка |
Найти товарный фид (Google Merchant XML) для сайта на OpenCart
700 UAH
Необходимо найти прямую ссылку на действующий товарный фид (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Найти оригинальный фидТребования к результату: Рабочая ссылка на XML-файл Python, Парсинг данных ∙ 4 дня 11 часов назад ∙ 25 ставок |
Великобритания