Спайдер на Scrapy
Сделать простейший спайдер на scrapy
Спайдеру передается адрес сайт и css селектор для страниц, которые необходимо найти
Спайдер обходит все страницы сайта, на каждой странице находит все ссылки на этот же сайт.
Все ссылки пишет в базу mysql ( или в ту, которую вы считаете оптимальной для этой задачи)
Если на странице есть указанный css селектор, страница сохраняется.
Все выполняется до полного обхода сайта.
Релизовать необходимо на последних стабильных версиях python и scrapy
Помочь развернуть и запустить проект на windows 8
-
231 4 0 Добрый день.
Имею огромный опыт в разработке парсеров / пауков на python с использованием scrappy в том числе. Готов реализовать данный проект.
-
1825 26 1 1 Здравствуйте, могу реализовать на scrapy и сделать небольшой мануал как запустить на виндовс, также я б предложил использовать postgresql в качестве базы.
-
143 готов обсудить, есть опыт работы с python/scrapy, c виндовсом не работал, но думаю проблем не составит, помогу запутить на виндовс, обращайтесь
Актуальні фриланс-проєкти в категорії Python
Створення бота багато фунціонального бота в телеграм
1000 UAH
(Всі матеріали предоставлю в приватні повідомлення) Ось детальний опис проєкту: Псіля натискання кнопки /start Бот присилає текст з правилми та умови користування (під текстом, кнопка ‘ознакомлен’) Після натискання на кнопку, наступне повідомлення ʼпроверка на подпискуʼ Три… Python, Розробка ботів ∙ 2 дні 2 години тому ∙ 92 ставки |
Знайти товарний фід (Google Merchant XML) для сайту на OpenCart
700 UAH
Необхідно знайти пряме посилання на діючий товарний фід (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Знайти оригінальний фідВимоги до результату: Робоче посилання на XML-файл Python, Парсинг даних ∙ 4 дні 15 годин тому ∙ 25 ставок |
Розробка Тік-Ток ферми (контент-завод)Необхідно розробити систему для централізованого управління кількома TikTok-акаунтами з автоматичною публікацією контенту, використанням індивідуальних проксі та імітацією природної активності акаунтів. Функціональні вимоги1. Управління акаунтами Додавання та видалення… Python, Розробка ботів ∙ 5 днів 2 години тому ∙ 19 ставок |
Покращити роботу Claude Code та роботу з написанням програмного забезпеченняЗараз розробляю СРМ та Аналітику, софт. Роблю через Клод Код, але розумію, що результати не найкращі в плані змін. Є 2 задачі - Потрібно допомогти зробити пресет по навичкам, мд і так далі, щоб покращити якість. Взяти перевірені, з якими працювали, а не з інтернету перші. - В… AI та машинне навчання, Python ∙ 5 днів 9 годин тому ∙ 26 ставок |
Система OCRПотрібна система розпізнавання тексту на поштових конвертах (індекс кому - лише числа). Текст інколи може бути рукописним Розпізнавання марок (підрахунок кількості та номіналу) Python ∙ 5 днів 12 годин тому ∙ 28 ставок |