Настроить рекурсивный парсер сайта - сохранить страницы - на PHP
3500 UAHДобрый день!
Нужно найти библиотеку на Github на PHP под рекурсивный парсинг сайта (обход каждой страницы), возможно написать небольшую обертку под уже существующую.
Цель - пройти по всем ссылкам на сайте, выкачать и сохранить на диск все страницы начиная с главной страницы для последующей обработки. Желательно без использования БД.
Требования:
- возможность замены UA
- прокси
- многопоточность
- без БД будет плюсом
Посмотрите Spatie / Guzzle и т.п. библиотеки, возможно они полностью подходят.
Сайт на котором нужно протестировать работоспособность tellows.com , выкачивать страницы только в директории /num/ - протестировать на нагрузке, чтобы не крашился на объеме при больших очередях обхода страниц.
Предоставлю VPS на Vultr на которой можно будет произвести тесты и настойку.
Отзыв заказчика о сотрудничестве с Ivan Kostyuk
Настроить рекурсивный парсер сайта - сохранить страницы - на PHPПлюсы:
- Иван специалист в своей области и предлагает варианты улучшения проекта, владеет технологиями и опытом по заявленному проекту
- Доступен почти в любое время дня и ночи, оперативно отвечает
- Конечный продукт получился такой как нужен
Минусы:
Ценит свое время дороже времени заказчика и включает в стоимость проекта время потраченное на собственные сложности с разворачиванием кода на пустом предоставленном сервере. Мной было потрачено слишком много времени на просьбы о документации к сделанной работе и доведения проекта до работоспособного состояния + пришлось доплатить в конечном итоге за это. От первоначально сданного проекта на проверку (который принят не был ввиду невозможности его использования) до конечного принятия скорость работы кода и проекта в целом была увеличена более чем в 20 раз путем правок и потраченных N часов совместных переписок/последующих правок.
Отзыв фрилансера о сотрудничестве с Max Smekalo
Настроить рекурсивный парсер сайта - сохранить страницы - на PHPСпасибо за интересный проект и то, что всегда были на связи!
-
5 дней1000 UAH
259 6 0 5 дней1000 UAH
Готов выполнить Ваше задание. Пишите в личные сообщения, имею опыт выполнения подобных заданий.
-
Из-за частых запросов не будет бана?
Логика не сложная. Но если на сайте есть защита от DDoS атак?
-
Поэтому и нужны прокси, есть рабочие 600 серверные.
Конечно, если там полноценная защита это не поможет, будем искать другие пути. Но указанный сайт парсится легко альтернативным десктоп софтом, с ним проблем быть не должно.
-
User agent
-
Использовать БД можно?
-
Просто надо где то хранить списки. Память не безгранична. Или за оперативку не переживать?
-
Можно. Но думаю чтобы 2-4 гб оперативки забить кешем урлов это сайт должен быть очень большой.
-
Т.е. можно не беспокоится. Есть идея реализации, напишите в личку.
-
Прокси, многопоточность и все за 500 грн)))
-
Это есть во всех основных библиотеках уже, которые я знаю. Например я использовал Zebracurl - там все это есть, если его с чем нибудь подружить или самостоятельно дописать кеширование урлов страниц.
-
Актуальные фриланс-проекты в категории PHP
Сделать так, чтобы письма о заказах из магазина не попадали в спамСейчас есть магазин на опенкарт, письма о заказах попадают в спам, нужно сделать так, чтобы они попадали во Входящие (ukr.net gmail), проверьте. Хостинг написал: Плохая доставка электронной почты может быть связана с низкой репутацией отправителя - IP или домена. В таком… PHP, Веб-программирование ∙ 9 часов 2 минуты назад ∙ 44 ставки |
Перенести полностью готовую адаптивную HTML5-структуру в WordPress.
12 000 UAH
Я ищу опытного WordPress-разработчика, который сможет преобразовать наш тщательно подготовленный статический HTML5/CSS3 код в высокопроизводимую кастомную WordPress-тему. Фронтенд уже практически готов (примерно 99%): семантическая разметка, метаданные и мультиязычная структура… CMS, PHP ∙ 3 дня 10 часов назад ∙ 68 ставок |
Интеграция GoPosПривет, делал кто нибудь интеграцию GoPos с кастомным сайтом для ресторана в Польше? Нужна помощь, у них очень скудная документация, есть только swagger и тот без описаний https://app.gopos.io/doc/swagger-ui/index.html Суть такая, использовали от них сайт для онлайн заказов,… PHP, Веб-программирование ∙ 4 дня 2 часа назад ∙ 25 ставок |
Прописать мета данные АЛЬТ при помощи ИИСайт на Laravel , на сайте много изображений, для которых нужно прописать корректные по семантики и релевантные для странице АЛЬТ описание изображения в автоматическом режиме, с возможностью проверки AI и машинное обучение, PHP ∙ 4 дня 23 часа назад ∙ 35 ставок |
Нужен разработчик для завершения и интеграции проекта по автоматическому сбору и обработке данных
700 UAH
Основная часть парсера уже реализована. Парсер работает на Windows-среде через Microsoft Edge: сайт имеет антибот-защиту, поэтому сбор данных выполняется не прямыми HTTP-запросами, а через живую браузерную сессию. Скрипты управляют открытой вкладкой Edge через Chrome DevTools… PHP, Веб-программирование ∙ 5 дней 5 часов назад ∙ 26 ставок |
Харьков