Парсинг каталога с драйверами
2000 UAHЗадача:
Написать скрипт на Bash или PHP, который чем-то похож на “поискового паука”, он должен использовать Wget и Grep для выкачивания HTML по ссылкам, которые перечислены в Sitemap сайта.
Алгоритм скрипта:
- Wget скачивает все файлы Sitemap.xml, которые указаны в robots.txt сайта
- Конвертирует файлы Sitemap.xml в CSV формат
- Wget выкачивает HTML-файлы из CSV
- Grep чистит HTML код от мусора (по регуляркам)
- Складывает файлы на HDD
Примечание: картинки, CSS и прочую статику скачивать не нужно, скачиваем только контент HTML-файлов.
Требование:
Поддержка много-поточности, чтобы управлять скоростью парсинга, выбрав количество одновременных скачиваний.
Артефакты:
- Адрес сайта, который парсим (это всегда один и тот же URL)
- Структура Sitemap
- Структура итоговых папок
- Регулярные выражения для очистки от мусора
Отзыв заказчика о сотрудничестве с Сергеем Пасиногой
Парсинг каталога с драйверамиКак всегда у Сергея все сделано на отличном уровне, все пункты ТЗ выполнены, по всем даны пояснения и даже сделаны полезные фичи сверх положенного - все отлично!
Отзыв фрилансера о сотрудничестве с Sam B.
Парсинг каталога с драйверамиОчень доволен сотрудничеством! Совместно выполняем уже не первый проект.
Всё на высшем уровне, связь, сопровождение по проекту, четкие требования и тд.
Очень профессиональный и качественный подход к работе. Всем рекомендую!
-
509 33 3 2 Здравствуйте
Могу сделать java приложение для вашего проекта
Сможете запускать на любой ОС
-
12725 198 0 2 Добрый день! Могу написать проект на Java, обращайтесь.
За подробностями пишите в ЛС.
-
2262 31 1 Готов взяться за работу хоть сегодня.
Что я могу предоставить?
- Портфолио на других биржах
- Резюме
- Гитхаб с проектами
Работа желательно через безопасную сделку. Скрипт напишу на Python или PHP
Актуальные фриланс-проекты в категории Парсинг данных
Перенос (экспорт) текста из .pdf в эксель (.csv)Задача: 1. Сделать экспорт пдф файла в текст. 2. Проверить, все ли правильно сконвертировалось 3. Перенести текст в эксель (.csv) файл согласно скриншоту. Всего в пдф файле 1000 фраз. Парсинг данных, Редактура и корректура текстов ∙ 5 ставок |
Спарсить сайт и загрузить на OpenCart
500 UAH
Добрый вечер, нужно спарсить и выгрузить товары с одного интернет-магазина на наш. Предлагайте свои варианты, или можно установить модуль SimplePars для этого. Что-то еще? Веб-программирование, Парсинг данных ∙ 8 ставок |
Написать простого бота, для отслеживания изменения цены на сайте
1500 UAH
Целевой сайт - https://www.tensor.trade/ Сайт - это нфт маркетплейс. На нем нас будут интересовать страницы различных коллекций на сайте. Пример такой страницы - https://www.tensor.trade/trade/famous_fox_federation Функционал бота: 1. Должен заходить на страницу коллекции,… Парсинг данных, Разработка ботов ∙ 2 ставки |
Загрузка товаров в интернет магазин в Wordpress
2122 UAH
Загрузка товаров - парики и аксессуары. Вариативные -273 товара, по несколько фото на каждый товар,+ вариации цветов. Не вариативные 33 товара. 1 вариант загрузить товары с документа Exel на мой сайт интернет магазин в Wordpress название www.wigs.lv, 3 языка. Образец документа… Базы данных, Парсинг данных ∙ 5 ставок |
Быстрый парсер dexscreener
5500 UAH
Необходимо обойти защиту сайта https://dexscreener.com/solana/ и создать быстрый парсер. для примера берем монету https://dexscreener.com/solana/6kSFM8teu4k9yvLGS1QtpPG33Z7xEmJ8iaRv6dEijc89 где 6kSFM8teu4k9yvLGS1QtpPG33Z7xEmJ8iaRv6dEijc89 адрес монеты - задается в настройках,… Blockchain, Парсинг данных ∙ 2 ставки |