Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!
30000 ₴

Парсер Common Crawl базы

истекло время актуальности


Нужен программист для разработки парсера ссылок  Common Crawl базы


Есть база скачанных страниц (1.5 миллиарда ) на сайте commoncrawl.org

Надо создать базу обратных ссылок для отдельно для каждой страницы и всего сайта с интерфейсом для запроса.


Что надо сделать:

- продумать архитектуру базы и аргументировать почему именно такую архитектуру надо использовать (храниться будут только ссылки и анкорные тексты)

- написать многопоточный парсер страниц (скачивание архива, распаковка, парсинг ссылок)

- написать интерфейс текущего состояния системы (что сейчас парсится, что распарсилось, топ сайтов со страницами)

- сделать веб интерфейс для запроса данных (JSON)


проект долгосрочный

по этому скидывайте свою почасовую ставку и опыт работы с парсерами

+ большим плюсом будет опыт создания и обучения нейронных сетей



  1. 7 дней9000 ₴
    Олег Федосенко
     297   1   0   1

    Добрый день!
    С Питоном и скриптами работаю уже более 10 лет.
    Пишите в скайп horos.ua, могу помочь с этой задачей, нужно больше деталей, проект, судя по всему интересный. Конечный бюджет и сроки озвучу после полного понимания задачи.

    Украина Киев | 27 августа 2016 |
  2.  фрилансер больше не работает на сервисе
  3. 7 дней29000 ₴
    Вадим Вадим
     501   8   1

    Готов выполнить

    Украина Винница | 28 августа 2016 |
  4. ставка скрыта фрилансером
  5.  фрилансер больше не работает на сервисе
  6. 5 дней3000 ₴
    Денис Оленин
     223   1   0

    Добрый день!
    Разработкой на Python занимаюсь больше 5 лет. Есть опыт разработки сложных, многопоточных приложений на flask и django.
    Особенно часто (в последнее время) разрабатываю парсеры и краулеры.
    Готов реализовать ваш проект, обращайтесь.
    Skype: dreamart.net.ua

    Украина Киев | 29 августа 2016 |
  7. 1 день200 ₴
    Сергей Петров
     289   3   1   3

    имею опыт разработки парсеров. а также обучения нейронных сетей. пишите подробности в личку.

    Украина Одесса | 29 августа 2016 |
  1. 30 дней30000 ₴
    Виктория Пустоварова
     562   9   0

    Добрый день
    Опыт работы с парсерами более 4х лет, из них последние 2,5 года занимаемся исключительно парсерами
    Язык разработки - С# (.NET)

    Каждый пункт отдельно не вызывает никаких проблем, но нужно смотреть глубже

    По бюджету сказать что либо сложно,т.к. задача очень объемная.
    Обычно работаем поэтапно, а не почасово. Если есть какие либо соображения по поводу почасовой оплаты, можете озвучить

    У нас команда, поэтому можем работать быстро

    С нейронными сетями опыта работы нет, однако если сеть требуется не сложная, можем разобраться в этом вопросе

    Украина Днепр | 29 августа 2016 |
  2. 1 день500 ₴
    Николай Петров
     485  проверен   1   0

    Пока что суть проекта - написать парсер, что повергает наших разработчиков в ужас. Они очень любят конкретику, а слово парсер им не нравится. Наши разработчики имеют опыт работы по настройке интерфейса для конструирования парсера на лету. Не могу сказать, что это займет пару дней, скорее даже напротив - такие конструкторы забирают много времени, но на выходе вы получите продукт, который сможете конфигурировать и подстраивать под парсинг любых страниц. Опыт работы с нейронными сетями мы не имеем, зато располагаем парой квантовых физиков в нашем штате и по их заверениям, это всего лишь очередная интересная задача, которая имеет простое решение.

    Украина Киев | 30 августа 2016 |

Заказчик
Валерий Власюк
Украина Запорожье  3   0
Проект опубликован
27 августа 2016
147 просмотров
Метки
Приглашены на проект