Python scraper
Необходимо написать Python-скрипт для выполнения запросов к DuckDuckGo и сбора уникальных ссылок из результатов поиска. Скрипт должен использовать модули requests и beautifulsoup4 или другие (Не использовать Selenium).
1)Поисковые запросы брать из txt файла или https://www.exploit-db.com/google-hacking-database. Поисковые запросы представляют из себя google dork (пример: камера -
inurl:"/view/index.shtml" принтер - intitle:"Hewlett-Packard" inurl:":631/printers/" умный дом -intitle:"Smart Home" intext:"powered by" intext:"home automation")
2)Скрипт должен проходить по всем запросам, после нахождения результатов в браузере собирать ссылки со всех страниц проверять их через базу sqlite на уникальность и сохранять только уникальные в txt.
-
5 дней7749 UAH
640 2 1 5 дней7749 UAHДобрый день.
Прежде всего, я просто поражен теми предложениям фрилансеров, которые пишут "ничего сложного" или "сделаю быстро". Хочется у них спросить - "Вы читали вообще задание ?" или "Пробовали запрос вставить, хотябы первый и получить все страницы, в том числе нажать кнопку показать больше ?"
Я уверен, что тут еще и капча присутсвует. И после 5-6 запросов, все "поломается"... Просто смешно.
Теперь вопрос по существу. А с чем связан отказ от использования Selenium ?
Увидел, как как можно получать страницы дальше и перебивать их. Сделаю
-
1 день1498 UAH
345 2 1 1 день1498 UAHУ меня объемный опыт в парсинга с использованием bs4 готов начать выполнять задание, если вы соглашаетесь отписать в личное сообщение
-
2 дня2583 UAH
307 1 0 2 дня2583 UAHЛюблю такие задания так как уже хорошо знаком с этой темой. Могу помочь реализовать это.
-
7 дней3100 UAH
362 1 0 7 дней3100 UAHДобрый вечер!
С радостью возьмусь за выполнения вашего проекта. Имею достаточный опыт с парсингом и запросами, и опыт работы с БД sqlite.
За деталями пишите в лс буду рад сотрудничевству)
-
2 дня1550 UAH
4200 123 0 2 дня1550 UAHГотов сделать ваше задание. с requests и bs4 знаком очень хорошо!
обращайтесь!
-
1 день5683 UAH
2532 23 2 1 день5683 UAHДобрый день, меня заинтересовал ваш проект и я хотел бы за него взяться. Хотелось бы обсудить детали проекта
-
2 дня1808 UAH
838 14 2 2 дня1808 UAHИнтересная задача . Можете ли вы дать больше подробностей в частном сообщении?
-
3 дня1550 UAH
98 3 дня1550 UAHДобрый день!
Выполнял подобные задания, задача сформулирована ясно.
-
3 дня1653 UAH
574 15 0 3 дня1653 UAHДобро пожаловать Задача довольно легкая, поэтому сложностей не должно быть.
Актуальные фриланс-проекты в категории Python
Автоматизация процессоів через API и PhytonНиже описал текущий процесс и то, к какому результату хотелось бы прийти. Также прикладіваю файлы реалтного процесса чтобы лучше понять как он выглядит в ревльности Текущий процесс Сейчас весь процесс выполняется вручную: загрузка/выгрузка файлов, перенос данных между… AI и машинное обучение, Python ∙ 21 минута назад ∙ 11 ставок |
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 13 часов 8 минут назад ∙ 64 ставки |
Парсинг и классификация большого массива изображенийНеобходимо реализовать проект по сбору и структурированию большого массива архитектурных изображений из открытых веб-источников.Задача включает: автоматизированный сбор изображений; загрузка файлов в максимально доступном качестве; классификацию изображений по категориям:… Python, Парсинг данных ∙ 20 часов 8 минут назад ∙ 30 ставок |
Бизнес-логикa платформы: подтверждение занятий, контроль посещаемости-и история уроков (DjangoДоработка бизнес-логики образовательной платформы: подтверждение занятий, контроль посещаемости и история уроков (Django + React) Необходимо реализовать полноценную систему подтверждения уроков, контроля посещаемости и хранения истории подтверждений. Важно Перед началом… Python ∙ 3 дня 1 час назад ∙ 29 ставок |
Доработка административной панели образовательной платформы (Django + React)Доработка административной панели образовательной платформы (Django + React) Описание проекта: Есть действующая образовательная платформа (marketplace, аналог Preply), разработанная на Django + React. Требуется доработать существующую административную панель и реализовать… Python, Веб-программирование ∙ 4 дня 22 часа назад ∙ 58 ставок |
Одесса