Поправить парсер на питоне
Здравствуйте, есть парсер, вот его код:
https://github.com/0-EternalJunior-0/-autonewsparser
Разработчик куда-то исчез, а нам нужно внести в него правки. В первую очередь удостовериться, что он настроен автоматически парсить новости по заданному критерию, потому что сейчас впечатление что запускается парсинг исключительно по команде. Если автопарсинг не настроен - его нужно будет настроить. Проект развернут на нашем сервере, доступы дадим исполнителю.
Во-вторых, вот список задач (на доработку) от нашего разработчика по апи:
---
Новые необходимые команды API:
1.
Необходима команда запроса N статей по произвольному запросу WHERE
назвать можно как угодно, тип POST
входные данные:
{
“where”:{
“field1”:”value1”,
“field2”:”value2”,
“field3”:”value3”
},
“limit”:10
}
значение limit может быть любое, но можно ограничить чем-то, например 100… если limit не передано - выдавать 1 статью (по умолчанию)
в where могут передаваться любые поля, значение прописываются в string (для универсальности)... надеюсь, “1” и 1 при запросе в базу данных, будут одним значением, и ошибку вызывать не будет… перед составлением запроса нужно проверить все переданные параметры where на существование в таблице, например, с помощью
SHOW COLUMNS FROM articles
или
DESCRIBE articles
и если какого-то поля не существует, вернуть ошибку
на основе данных формируется запрос в БД вида
SELECT * FROM articles WHERE field1=’value1’ AND field2=’value2’ AND field3=’value3’ LIMIT 10
все параметры WHERE объединяются через AND
и все результаты со всеми полями возвращаются в ответе на запрос API… убирать какие-то поля из ответа не надо, надо вернуть все, какие есть
2.
Необходима команда произвольного редактирования статьи по id
назвать можно как угодно, тип POST
входные данные:
{
“set”:{
“field1”:”value1”,
“field2”:”value2”,
“field3”:”value3”
},
“id”:1
}
перед составлением запроса нужно проверить все переданные параметры set на существование в таблице, например, с помощью
SHOW COLUMNS FROM articles
или
DESCRIBE articles
и если какого-то поля не существует, вернуть ошибку
также нужно заблокировать передачу id в разделе set, и вернуть ошибку, если там обнаружен id
“set”:{
“id”:”2”
},
вот это явная ошибка, id нельзя менять
на основе данных формируется запрос в БД вида
UPDATE articles SET field1=’value1’, field2=’value2’, field3=’value3’ WHERE id=1
в ответе на запрос API достаточно вернуть 200 код при успешной операции, и другой код с описанием ошибки, если что-то пошло не так
ВАЖНО:
Я буду добавлять поля и индексы в таблицу articles, поэтому нужно, чтобы обе команды работали с любыми полями, нынешними и будущими, а не были ограничены текущей структурой таблицы.
---
В третьих, нужно разобраться с тем как работает команда удаления, не будут ли парситься заново статьи, которые удалились командой.
Просмотрите пожалуйста код. Писать парсер с нуля если что не нужно.
-
121 У меня есть опыт работы с парсингом и FastAPI, не вижу ничего сложного в вашей задаче.
-
3224 84 0 Готов взять на себя.
Но нужно уточнить детали заказа, пишите!
Реализую скриптом на python.
-
2830 19 0 здравствуйте. готов внести правки прямо сейчас. напишите в личку пожалуйста, обсудим детали и сразу готов приступить
-
414 1 0 Здравствуйте занимался разработкой парсеров на разных библиотеках,предлагаю перейти в ЛС для обсуждения деталей выполнения и обсудить сроки и цену
-
597 2 1 Привет! Разберусь с кодом, проверю, настроен ли автопарсинг, и если нет — добавлю. Доработаю API по вашему списку: реализую запрос N статей с фильтрацией и редактирование статьи по ID с учетом динамической структуры БД. Также изучу логику удаления, чтобы избежать повторного парсинга удаленных статей. Готов взяться уже в ближайшее время и без лишних вопросов выполнить, пишите обсудим детали
-
94002 1264 1 10 Здравствуйте.Есть опыт с Python.Готов к сотрудничеству.Обращайтесь
-
3482 50 0 Добрый вечер
готов взяться за вашу работу
Пишите буду рад помочь с вашей задачей
Сделаю быстро и качественно
Актуальные фриланс-проекты в категории Python
Создание Human AI Assistant для Telegram-групп### 1.1. Ключевая концепция системы Система должна выполнять две основные функции: #### 1. Анализ клиентской коммуникации AI-ассистент должен автоматически анализировать всю коммуникацию в Telegram-группах и понимать контекст общения. В частности, система должна: -… AI и машинное обучение, Python ∙ 12 часов 54 минуты назад ∙ 29 ставок |
Чёрная Украина (RP-проект на базе MTA)
51 525 UAH
|
Betting нужно сделать букмекерскую контору! С ОПЫТОМНужно разработать betting-платформу / букмекерский продукт на базе готового шаблона. Основная задача — адаптировать шаблон под полноценную букмекерскую контору: подключить парсинг спортивных событий и коэффициентов, реализовать личный кабинет пользователя, баланс, ставки,… Python, Веб-программирование ∙ 13 часов 36 минут назад ∙ 20 ставок |
Telegram автоматизация рассылки сообщений в чатыНужно рассылать в телеграмм чаты сообщения. Что бы не было банов. Чатов несколько сотен. Что бы настраивать перодичность и вариативность текстов. Python, Разработка ботов ∙ 13 часов 48 минут назад ∙ 24 ставки |
Разработка программного обеспечения с ИИНеобходимо разработать программное обеспечение для автоматического обнаружения, захвата и сопровождения объекта с помощью видеокамеры и поворотного механизма.Исходные данные: Видеокамера с оптикой. Поворотное устройство по двум осям (азимут/угол места). Сервоприводы с… AI и машинное обучение, Python ∙ 1 день 20 часов назад ∙ 17 ставок |