Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!

Написать краулер для поиска битых ссылок

истекло время актуальности


Добрый день


Нужно
1) Даем скрипту сайт. Он сканит главную страницу, извлекает с нее все ссылки, добавляет их в стек.
2) Одновременно каждую страницу он сканит на внешние ссылки. Их он добавляет в отдельный стек.
3) После скана главной скрипт сканит все страницы со стека по очереди, новые внутренние ссылки он опять таки добавляет в стек. Так пока не просканим все.
4) В конце после обхода всех страниц скрипт переходит к стеку внешних ссылок. И проверяет коды ответов сайтов и ищет ссылки которые отдают 400 и 500 е ответы.
5) Скрипт должен работать с прокси чтобы не банили

6) Должно работать быстро и кушать большие сайты.

7) Работать должно на питоне.

Студии и менеджеров просьба не писать, работаю только напрямую. В заявках указывайте ориентировочную стоимость.



  1.  фрилансер больше не работает на сервисе
  2. 3 дня5000 ₴
    Олег Федосенко
     294   1   0

    Добрый день, Владислав!
    Пишу на Python с 2009 года, в том числе парсеры и краулеры (к примеру, работал с commoncrawl.org).
    Есть такие вопросы:
    - дайте примеры сайтов
    - куда это все складывать планируете?
    Ответы повлияют на конечную стоимость.
    Скайп horos.ua.
    Пишите, поработаем.

    Украина Киев | 2 октября 2017 |
  1. ставка отозвана

Заказчик
Владислав Шиян
Украина Киев  21   0
Проект опубликован
2 октября 2017
42 просмотра