Парсер Common Crawl базы
30 000 UAHНужен программист для разработки парсера ссылок Common Crawl базы
Есть база скачанных страниц (1.5 миллиарда ) на сайте commoncrawl.org
Надо создать базу обратных ссылок для отдельно для каждой страницы и всего сайта с интерфейсом для запроса.
Что надо сделать:
- продумать архитектуру базы и аргументировать почему именно такую архитектуру надо использовать (храниться будут только ссылки и анкорные тексты)
- написать многопоточный парсер страниц (скачивание архива, распаковка, парсинг ссылок)
- написать интерфейс текущего состояния системы (что сейчас парсится, что распарсилось, топ сайтов со страницами)
- сделать веб интерфейс для запроса данных (JSON)
проект долгосрочный
по этому скидывайте свою почасовую ставку и опыт работы с парсерами
+ большим плюсом будет опыт создания и обучения нейронных сетей
-
5 днів3000 UAH
243 1 0 5 днів3000 UAH
Добрый день!
Разработкой на Python занимаюсь больше 5 лет. Есть опыт разработки сложных, многопоточных приложений на flask и django.
Особенно часто (в последнее время) разрабатываю парсеры и краулеры.
Готов реализовать ваш проект, обращайтесь.
Skype: dreamart.net.ua
-
7 днів29 000 UAH
1005 30 3 1 7 днів29 000 UAHГотов выполнить
-
1 день500 UAH
448 1 0 1 день500 UAH
Пока что суть проекта - написать парсер, что повергает наших разработчиков в ужас. Они очень любят конкретику, а слово парсер им не нравится. Наши разработчики имеют опыт работы по настройке интерфейса для конструирования парсера на лету. Не могу сказать, что это займет пару дней, скорее даже напротив - такие конструкторы забирают много времени, но на выходе вы получите продукт, который сможете конфигурировать и подстраивать под парсинг любых страниц. Опыт работы с нейронными сетями мы не имеем, зато располагаем парой квантовых физиков в нашем штате и по их заверениям, это всего лишь очередная интересная задача, которая имеет простое решение.
-
30 днів30 000 UAH
248 9 0 30 днів30 000 UAH
Добрый день
Опыт работы с парсерами более 4х лет, из них последние 2,5 года занимаемся исключительно парсерами
Язык разработки - С# (.NET)
Каждый пункт отдельно не вызывает никаких проблем, но нужно смотреть глубже
По бюджету сказать что либо сложно,т.к. задача очень объемная.
Обычно работаем поэтапно, а не почасово. Если есть какие либо соображения по поводу почасовой оплаты, можете озвучить
… У нас команда, поэтому можем работать быстро
С нейронными сетями опыта работы нет, однако если сеть требуется не сложная, можем разобраться в этом вопросе
Актуальні фриланс-проєкти в категорії Python
Створення Human AI Assistant для Telegram-групп### 1.1. Ключова концепція системи Система повинна виконувати дві основні функції: #### 1. Аналіз клієнтської комунікації AI-асистент має автоматично аналізувати всю комунікацію в Telegram-групах та розуміти контекст спілкування. Зокрема система повинна: - визначати… AI та машинне навчання, Python ∙ 12 годин 34 хвилини тому ∙ 27 ставок |
Чорна Україна (RP-проект на базі MTA)
51 525 UAH
|
Необхідно створити букмекерську контору! З ДОСВІДОМПотрібно розробити betting-платформу / букмекерський продукт на базі готового шаблону. Основне завдання — адаптувати шаблон під повноцінну букмекерську контору: підключити парсинг спортивних подій і коефіцієнтів, реалізувати особистий кабінет користувача, баланс, ставки, історію… Python, Веб-програмування ∙ 13 годин 16 хвилин тому ∙ 20 ставок |
Автоматизація розсилки повідомлень у чати TelegramПотрібно розсилати в телеграм чати повідомлення. Щоб не було банів. Чатів кілька сотень. Щоб налаштовувати періодичність і варіативність текстів. Python, Розробка ботів ∙ 13 годин 28 хвилин тому ∙ 24 ставки |
Розробка програмного забезпечення з ШІ
Потрібно розробити програмне забезпечення для автоматичного виявлення, захоплення та супроводження об'єкта за допомогою відеокамери та поворотного механізму.Вихідні дані: Відеокамера з оптикою. Поворотний пристрій по двох осях (азимут/кут місця). Сервоприводи з керуванням через… AI та машинне навчання, Python ∙ 1 день 20 годин тому ∙ 17 ставок |
Запоріжжя