Спайдер на Scrapy
Сделать простейший спайдер на scrapy
Спайдеру передается адрес сайт и css селектор для страниц, которые необходимо найти
Спайдер обходит все страницы сайта, на каждой странице находит все ссылки на этот же сайт.
Все ссылки пишет в базу mysql ( или в ту, которую вы считаете оптимальной для этой задачи)
Если на странице есть указанный css селектор, страница сохраняется.
Все выполняется до полного обхода сайта.
Релизовать необходимо на последних стабильных версиях python и scrapy
Помочь развернуть и запустить проект на windows 8
-
231 4 0 Добрый день.
Имею огромный опыт в разработке парсеров / пауков на python с использованием scrappy в том числе. Готов реализовать данный проект.
-
1825 26 1 1 Здравствуйте, могу реализовать на scrapy и сделать небольшой мануал как запустить на виндовс, также я б предложил использовать postgresql в качестве базы.
-
143 готов обсудить, есть опыт работы с python/scrapy, c виндовсом не работал, но думаю проблем не составит, помогу запутить на виндовс, обращайтесь
Актуальные фриланс-проекты в категории Python
Создать бота в телеграм (кабинет продавца)
700 UAH
Всем привет Нужен личный кабинет пользователя в формате бота в телеграм После запуска и прохождения опроса, под пользователя создается личный кабинет (его допускает в систему на дальнейшие кнопки) Чтобы у каждого, кто зарегистрировался, высвечивался в отдельном меню Уникальный… Python, Разработка ботов ∙ 12 часов 43 минуты назад ∙ 81 ставка |
Найти товарный фид (Google Merchant XML) для сайта на OpenCart
700 UAH
Необходимо найти прямую ссылку на действующий товарный фид (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Найти оригинальный фидТребования к результату: Рабочая ссылка на XML-файл Python, Парсинг данных ∙ 22 часа 47 минут назад ∙ 19 ставок |
Розработка Тик-Ток фермы (контент-завод)Необзодимо разработать систему для централизованного управления несколькими TikTok-аккаунтами с автоматической публикацией контента, использованием индивидуальных прокси и имитацией естественной активности аккаунтов. Функциональные требования1. Управление аккаунтами Добавление… Python, Разработка ботов ∙ 1 день 10 часов назад ∙ 16 ставок |
Улучшить работу Claude Code и работа с написанием софтаСейчас разрабатываю СРМ и Аналитику, софт. Делаю через Клод Код, но понимаю что результаты не лучшие в плане изменений. Есть 2 задачи - Нужно помочь сделать пресет по навыкам, мд и так далее чтобы улучшить качество. Взять проверенные с которыми работали, а не с интернета… AI и машинное обучение, Python ∙ 1 день 16 часов назад ∙ 22 ставки |
Система OCRНужна система распознавания текста на почтовых конвертах (индекс кому - только числа). Текст иногда может быть рукописным. Распознавание марок (подсчет количества и номинала) Python ∙ 1 день 19 часов назад ∙ 25 ставок |