Парсер Common Crawl базы
677 USDНужен программист для разработки парсера ссылок Common Crawl базы
Есть база скачанных страниц (1.5 миллиарда ) на сайте commoncrawl.org
Надо создать базу обратных ссылок для отдельно для каждой страницы и всего сайта с интерфейсом для запроса.
Что надо сделать:
- продумать архитектуру базы и аргументировать почему именно такую архитектуру надо использовать (храниться будут только ссылки и анкорные тексты)
- написать многопоточный парсер страниц (скачивание архива, распаковка, парсинг ссылок)
- написать интерфейс текущего состояния системы (что сейчас парсится, что распарсилось, топ сайтов со страницами)
- сделать веб интерфейс для запроса данных (JSON)
проект долгосрочный
по этому скидывайте свою почасовую ставку и опыт работы с парсерами
+ большим плюсом будет опыт создания и обучения нейронных сетей
-
5 days68 USD
243 1 0 5 days68 USD
Добрый день!
Разработкой на Python занимаюсь больше 5 лет. Есть опыт разработки сложных, многопоточных приложений на flask и django.
Особенно часто (в последнее время) разрабатываю парсеры и краулеры.
Готов реализовать ваш проект, обращайтесь.
Skype: dreamart.net.ua
-
7 days654 USD
1005 30 3 1 7 days654 USDГотов выполнить
-
1 day11 USD
448 1 0 1 day11 USD
Пока что суть проекта - написать парсер, что повергает наших разработчиков в ужас. Они очень любят конкретику, а слово парсер им не нравится. Наши разработчики имеют опыт работы по настройке интерфейса для конструирования парсера на лету. Не могу сказать, что это займет пару дней, скорее даже напротив - такие конструкторы забирают много времени, но на выходе вы получите продукт, который сможете конфигурировать и подстраивать под парсинг любых страниц. Опыт работы с нейронными сетями мы не имеем, зато располагаем парой квантовых физиков в нашем штате и по их заверениям, это всего лишь очередная интересная задача, которая имеет простое решение.
-
30 days677 USD
248 9 0 30 days677 USD
Добрый день
Опыт работы с парсерами более 4х лет, из них последние 2,5 года занимаемся исключительно парсерами
Язык разработки - С# (.NET)
Каждый пункт отдельно не вызывает никаких проблем, но нужно смотреть глубже
По бюджету сказать что либо сложно,т.к. задача очень объемная.
Обычно работаем поэтапно, а не почасово. Если есть какие либо соображения по поводу почасовой оплаты, можете озвучить
… У нас команда, поэтому можем работать быстро
С нейронными сетями опыта работы нет, однако если сеть требуется не сложная, можем разобраться в этом вопросе
Current freelance projects in the category Python
Creation of a Human AI Assistant for Telegram groups### 1.1. Key Concept of the System The system must perform two main functions: #### 1. Client Communication Analysis The AI assistant must automatically analyze all communication in Telegram groups and understand the context of the conversation. In particular, the system… AI & Machine Learning, Python ∙ 10 hours 47 minutes back ∙ 15 proposals |
Black Ukraine (RP-project on base MTA)
1162 USD
|
Betting needs to create a bookmaker! WITH EXPERIENCEIt is necessary to develop a betting platform / bookmaker product based on a ready-made template. The main task is to adapt the template for a full-fledged bookmaker office: connect parsing of sports events and odds, implement a user personal account, balance, bets, transaction… Python, Web Programming ∙ 11 hours 23 minutes back ∙ 16 proposals |
Telegram automation of message distribution in chatsNeed to send messages to Telegram chats. To avoid bans. There are several hundred chats. To configure the frequency and variability of texts. Python, Bot Development ∙ 11 hours 35 minutes back ∙ 22 proposals |
Development of software with AI
It is necessary to develop software for automatic detection, capturing, and tracking of an object using a video camera and a rotating mechanism.Output data: Video camera with optics. Rotating device on two axes (azimuth/elevation angle). Servomotors controlled via Modbus… AI & Machine Learning, Python ∙ 1 day 18 hours back ∙ 16 proposals |
Zaporizhzhia