Парсинг каталога драйверов
Задача: написать Bash-скрипт, который чем-то похож на “поискового паука”, он должен использовать Wget и Grep для выкачивания HTML по ссылкам, которые перечислены в Sitemap сайта.
Алгоритм скрипта:
Wget скачивает все файлы Sitemap.xml, которые указаны в robots.txt сайта
Конвертирует файлы Sitemap.xml в CSV формат
Wget запрашивает HTML-файлы из CSV
Grep чистит HTML код от мусора (по регуляркам)
Складывает файлы на HDD
Примечание: скачивать картинки, CSS и прочую статику не нужно, скачиваем только контент HTML-файлов.
Требования:
Поддержка много-поточности, чтобы управлять скоростью парсинга, выбрав количество одновременных скачиваний
Артефакты:
Структура Sitemap
Структура итоговых папок
Регулярные выражения для очистки от мусора
-
7 days178 USD
786 27 2 2 7 days178 USD
Добрый день, могу предложить вам решение на Python. Я работаю на Python уже более 3х лет, а конкретно в сфере парсинга больше 2х лет. За это время сделал довольно большое количество парсеров. Для реализации вашего проекта буду использовать Selenium beautiful soup и requests. Все зависит от сайта донора, сроки и стоимость примерная так как нужно увидеть сайт. Также помогу с настройкой сервера, поиском антикапчи и прокси, и дальнейшей поддержке проекта. Интересует качественное и полноценное решение? Пишите мне в ЛС.
-
2 days33 USD
956 14 0 2 days33 USD
Все вышесказанное могу реализовать на зеннопостере. Без дополнительных программ.
-
3 days33 USD
354 2 0 3 days33 USD
Здравствуйте, занимаюсь разработкой парсеров/грабберов боле 5-лет, могу предложить вариант на чистом PHP без использования сторонних библиотек, запускать скрипт можно будет через консоль/крон.
-
Есть смысл писать именно в Bash?
-
Не обязательно... Какие есть предложения?
-
Зависит от того как будете/хотите управлять потокам
-
Nodejs
-
NodeJS не подойдёт. Или Bash или чистый PHP.
-
чтобы управлять скоростью парсинга
Это по сайтам? Хотите управлять количество скриптов который работает с одним сайтом или что-то другое?
Список сайтов откуда берем?
-
Сайт только для парсинга всегда один и тот же. Хочу управлять количество потоков. Чтобы одновременно скачивалось, например по 20 файлов.
Список файлов берётся из Sitemap.xml. -
Каким образом хотите управлять потокам?
-
Редактированием конфига или передачей параметра в командной строке. Не очень важно... Конфигом, думаю, проще всего.
-
Можно глянуть донора, то есть откуда берется список сайтов? Это Гугл? Какой-то поисковик?
-
Отписал в личку...
-
Не получиться на чистом bash.
Можно с использованием headless browser, cypress и т.п.
-
Хотел бы тоже узнать кто донор?
и не лучше ли парсить сразу в бд, а не в фалы? -
Если на Bash, то в файл. Если на PHP или Python, то можно и в файл и в базу.
-
Current freelance projects in the category Data Parsing
Database extraction
16 USD
Good day. We need to download a database from the website logist pro. We will provide the account details. There are profiles that need to be opened and downloaded. The database contains about 3000 people. What information is needed in Excel: 1. Phone number (1 contact) 2.… Data Parsing ∙ 20 minutes back ∙ 17 proposals |
A specialist is needed to find contacts of decision-makers in Ukraine.It is necessary to gather a database (or ready database) of contacts of decision-makers (DMs) in companies in Ukraine. Information Gathering, Data Parsing ∙ 53 minutes back ∙ 4 proposals |
Need to scrape data from LinkedIn
We need to scrape data from LinkedIn based on our list. For each entry, we need to find and collect available data if it exists on the LinkedIn profile, including the profile picture on the LinkedIn social network, email address, links to social media, company website, and… Data Parsing ∙ 6 hours 41 minutes back ∙ 15 proposals |
Parsing and classification of data
We are looking for a developer to implement a system for collecting and structuring data from open sources. We have a database of small business owners in the USA, which contains the person's name, company name, address, and state. It is necessary to build a process for… Web Programming, Data Parsing ∙ 7 hours 49 minutes back ∙ 32 proposals |
Svitlahata
17 USD
It is necessary to import 1819 products from the XML/YML feed of Prom.ua to OpenCart 3. A ready XML file is available, which contains product names, descriptions, prices, photos, specifications, manufacturers, and categories. Requirements: import all products to OpenCart… Content Management Systems, Data Parsing ∙ 1 day 10 hours back ∙ 32 proposals |
United Kingdom