Парсер Common Crawl базы
2467 PLNНужен программист для разработки парсера ссылок Common Crawl базы
Есть база скачанных страниц (1.5 миллиарда ) на сайте commoncrawl.org
Надо создать базу обратных ссылок для отдельно для каждой страницы и всего сайта с интерфейсом для запроса.
Что надо сделать:
- продумать архитектуру базы и аргументировать почему именно такую архитектуру надо использовать (храниться будут только ссылки и анкорные тексты)
- написать многопоточный парсер страниц (скачивание архива, распаковка, парсинг ссылок)
- написать интерфейс текущего состояния системы (что сейчас парсится, что распарсилось, топ сайтов со страницами)
- сделать веб интерфейс для запроса данных (JSON)
проект долгосрочный
по этому скидывайте свою почасовую ставку и опыт работы с парсерами
+ большим плюсом будет опыт создания и обучения нейронных сетей
-
5 dni247 PLN
243 1 0 5 dni247 PLN
Добрый день!
Разработкой на Python занимаюсь больше 5 лет. Есть опыт разработки сложных, многопоточных приложений на flask и django.
Особенно часто (в последнее время) разрабатываю парсеры и краулеры.
Готов реализовать ваш проект, обращайтесь.
Skype: dreamart.net.ua
-
7 dni2385 PLN
1005 30 3 1 7 dni2385 PLNГотов выполнить
-
1 dzień41 PLN
448 1 0 1 dzień41 PLN
Пока что суть проекта - написать парсер, что повергает наших разработчиков в ужас. Они очень любят конкретику, а слово парсер им не нравится. Наши разработчики имеют опыт работы по настройке интерфейса для конструирования парсера на лету. Не могу сказать, что это займет пару дней, скорее даже напротив - такие конструкторы забирают много времени, но на выходе вы получите продукт, который сможете конфигурировать и подстраивать под парсинг любых страниц. Опыт работы с нейронными сетями мы не имеем, зато располагаем парой квантовых физиков в нашем штате и по их заверениям, это всего лишь очередная интересная задача, которая имеет простое решение.
-
30 dni2467 PLN
248 9 0 30 dni2467 PLN
Добрый день
Опыт работы с парсерами более 4х лет, из них последние 2,5 года занимаемся исключительно парсерами
Язык разработки - С# (.NET)
Каждый пункт отдельно не вызывает никаких проблем, но нужно смотреть глубже
По бюджету сказать что либо сложно,т.к. задача очень объемная.
Обычно работаем поэтапно, а не почасово. Если есть какие либо соображения по поводу почасовой оплаты, можете озвучить
… У нас команда, поэтому можем работать быстро
С нейронными сетями опыта работы нет, однако если сеть требуется не сложная, можем разобраться в этом вопросе
Aktualne zlecenia dla freelancerów w kategorii Python
Rozwój oprogramowania z AI
Potrzebne jest opracowanie oprogramowania do automatycznego wykrywania, śledzenia i towarzyszenia obiektowi za pomocą kamery wideo i mechanizmu obrotowego.Dane wyjściowe: Kamera wideo z optyką. Urządzenie obrotowe w dwóch osiach (azymut/kąt elewacji). Serwomotory z kontrolą… AI i uczenie maszynowe, Python ∙ 15 godzin 22 minuty temu ∙ 12 ofert |
ZADANIE NA DOPRACOWANIE AI-BOTA GENERUJĄCEGO OSOBISTE PIOSENKIZADANIE NA DOPRACOWANIE AI-BOTA GENERACJI OSOBISTYCH PIOSENEKGŁÓWNY CELStworzyć stabilny produkt premium, który:generuje maksymalnie jakościowe osobiste piosenki;nie wymyśla faktów o kliencie;pracuje stabilnie pod obciążeniem;łatwo się skaluje;pozwala analizować i poprawiać… Python, Tworzenie chatbota ∙ 16 godzin 27 minut temu ∙ 30 ofert |
Specjalista ds. Excela / automatyzacji procesów (Excel + mile widziane programowanie)Szukamy specjalisty z ZAAWANSOWANYMI umiejętnościami Excel do optymalizacji istniejącego pliku i automatyzacji procesów. Wielką zaletą będzie, jeśli masz również umiejętności programowania / VBA / Power Query / Power Automate lub doświadczenie w tworzeniu złożonej logiki w… Python, Bazy danych i SQL ∙ 19 godzin 26 minut temu ∙ 32 oferty |
Automatyzacja procesów przez API i PythonaPoniżej opisałem aktualny proces i to, do jakiego wyniku chciałbym dojść. Dołączam również pliki rzeczywistego procesu, aby lepiej zrozumieć, jak on wygląda w rzeczywistości Aktualny proces Obecnie cały proces wykonywany jest ręcznie: ładowanie/wyładowanie plików,… AI i uczenie maszynowe, Python ∙ 20 godzin 27 minut temu ∙ 41 ofert |
Należy stworzyć bota w tg do płatności subskrypcyjnej.
164 PLN
Trzeba stworzyć bota w Telegramie, gdzie użytkownik będzie mógł wykupić subskrypcję na dostęp do kamer internetowych znajdujących się na podwórku. Organizować w bocie płatność dwóch rodzajów subskrypcji (na miesiąc i na jeden dzień). Bot powinien automatycznie sprawdzać płatność… Python, Tworzenie chatbota ∙ 1 dzień 9 godzin temu ∙ 78 ofert |
Zaporoże