Парсер Common Crawl базы
30 000 UAHНужен программист для разработки парсера ссылок Common Crawl базы
Есть база скачанных страниц (1.5 миллиарда ) на сайте commoncrawl.org
Надо создать базу обратных ссылок для отдельно для каждой страницы и всего сайта с интерфейсом для запроса.
Что надо сделать:
- продумать архитектуру базы и аргументировать почему именно такую архитектуру надо использовать (храниться будут только ссылки и анкорные тексты)
- написать многопоточный парсер страниц (скачивание архива, распаковка, парсинг ссылок)
- написать интерфейс текущего состояния системы (что сейчас парсится, что распарсилось, топ сайтов со страницами)
- сделать веб интерфейс для запроса данных (JSON)
проект долгосрочный
по этому скидывайте свою почасовую ставку и опыт работы с парсерами
+ большим плюсом будет опыт создания и обучения нейронных сетей
-
5 дней3000 UAH
243 1 0 5 дней3000 UAH
Добрый день!
Разработкой на Python занимаюсь больше 5 лет. Есть опыт разработки сложных, многопоточных приложений на flask и django.
Особенно часто (в последнее время) разрабатываю парсеры и краулеры.
Готов реализовать ваш проект, обращайтесь.
Skype: dreamart.net.ua
-
7 дней29 000 UAH
1005 30 3 1 7 дней29 000 UAHГотов выполнить
-
1 день500 UAH
448 1 0 1 день500 UAH
Пока что суть проекта - написать парсер, что повергает наших разработчиков в ужас. Они очень любят конкретику, а слово парсер им не нравится. Наши разработчики имеют опыт работы по настройке интерфейса для конструирования парсера на лету. Не могу сказать, что это займет пару дней, скорее даже напротив - такие конструкторы забирают много времени, но на выходе вы получите продукт, который сможете конфигурировать и подстраивать под парсинг любых страниц. Опыт работы с нейронными сетями мы не имеем, зато располагаем парой квантовых физиков в нашем штате и по их заверениям, это всего лишь очередная интересная задача, которая имеет простое решение.
-
30 дней30 000 UAH
248 9 0 30 дней30 000 UAH
Добрый день
Опыт работы с парсерами более 4х лет, из них последние 2,5 года занимаемся исключительно парсерами
Язык разработки - С# (.NET)
Каждый пункт отдельно не вызывает никаких проблем, но нужно смотреть глубже
По бюджету сказать что либо сложно,т.к. задача очень объемная.
Обычно работаем поэтапно, а не почасово. Если есть какие либо соображения по поводу почасовой оплаты, можете озвучить
… У нас команда, поэтому можем работать быстро
С нейронными сетями опыта работы нет, однако если сеть требуется не сложная, можем разобраться в этом вопросе
Актуальные фриланс-проекты в категории Python
Разработка программного обеспечения с ИИ
Необходимо разработать программное обеспечение для автоматического обнаружения, захвата и сопровождения объекта с помощью видеокамеры и поворотного механизма.Исходные данные: Видеокамера с оптикой. Поворотное устройство по двум осям (азимут/угол места). Сервоприводы с… AI и машинное обучение, Python ∙ 13 часов 58 минут назад ∙ 12 ставок |
ТЗ НА ДОПРАЦЮВАНИЕ AI-БОТА ГЕНЕРАЦИИ ЛИЧНЫХ ПЕСЕНТЗ НА ДОПРАЦЮВАННЯ AI-БОТА ГЕНЕРАЦІЇ ПЕРСОНАЛЬНИХ ПІСЕНЬГОЛОВНА ЦІЛЬ Створити стабільний преміальний продукт, який: генерує максимально якісні персональні пісні; не вигадує факти про клієнта; працює стабільно під навантаженням; легко масштабується; дозволяє аналізувати та… Python, Разработка ботов ∙ 15 часов 3 минуты назад ∙ 30 ставок |
Специалист по Excel / автоматизации процессов (Excel + желательно программирование)Ищем специалиста с ПРОДВИНУТЫМИ знаниями Excel для оптимизации существующего файла и автоматизации процессов. Будет большим преимуществом, если вы также имеете навыки программирования / VBA / Power Query / Power Automate или опыт создания сложной логики в Excel. Задачи проекта… Python, Базы данных и SQL ∙ 18 часов 2 минуты назад ∙ 32 ставки |
Автоматизация процессоів через API и PhytonНиже описал текущий процесс и то, к какому результату хотелось бы прийти. Также прикладіваю файлы реалтного процесса чтобы лучше понять как он выглядит в ревльности Текущий процесс Сейчас весь процесс выполняется вручную: загрузка/выгрузка файлов, перенос данных между… AI и машинное обучение, Python ∙ 19 часов 3 минуты назад ∙ 41 ставка |
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 1 день 7 часов назад ∙ 78 ставок |
Запорожье