Виправити парсер на питоні
Привіт, є парсер, ось його код:
https://github.com/0-EternalJunior-0/-autonewsparser
Розробник кудись зник, а нам потрібно внести в нього правки. В першу чергу впевнитися, що він налаштований автоматично парсити новини за заданим критерієм, тому що зараз враження, що запускається парсинг виключно за командою. Якщо автопарсинг не налаштований - його потрібно буде налаштувати. Проект розгорнуто на нашому сервері, доступи дамо виконавцю.
По-друге, ось список завдань (на доопрацювання) від нашого розробника по апі:
---
Нові необхідні команди API:
1.
Необхідна команда запиту N статей за довільним запитом WHERE
назвати можна як завгодно, тип POST
вхідні дані:
{
“where”:{
“field1”:”value1”,
“field2”:”value2”,
“field3”:”value3”
},
“limit”:10
}
значення limit може бути будь-яким, але можна обмежити чимось, наприклад 100… якщо limit не передано - видавати 1 статтю (за замовчуванням)
в where можуть передаватися будь-які поля, значення прописуються в string (для універсальності)... сподіваюся, “1” і 1 при запиті в базу даних, будуть одним значенням, і помилку викликати не буде… перед складанням запиту потрібно перевірити всі передані параметри where на існування в таблиці, наприклад, за допомогою
SHOW COLUMNS FROM articles
або
DESCRIBE articles
і якщо якогось поля не існує, повернути помилку
на основі даних формується запит в БД виду
SELECT * FROM articles WHERE field1=’value1’ AND field2=’value2’ AND field3=’value3’ LIMIT 10
всі параметри WHERE об'єднуються через AND
і всі результати з усіма полями повертаються в відповіді на запит API… прибирати якісь поля з відповіді не треба, треба повернути всі, які є
2.
Необхідна команда довільного редагування статті по id
назвати можна як завгодно, тип POST
вхідні дані:
{
“set”:{
“field1”:”value1”,
“field2”:”value2”,
“field3”:”value3”
},
“id”:1
}
перед складанням запиту потрібно перевірити всі передані параметри set на існування в таблиці, наприклад, за допомогою
SHOW COLUMNS FROM articles
або
DESCRIBE articles
і якщо якогось поля не існує, повернути помилку
також потрібно заблокувати передачу id в розділі set, і повернути помилку, якщо там виявлений id
“set”:{
“id”:”2”
},
ось це явна помилка, id не можна змінювати
на основі даних формується запит в БД виду
UPDATE articles SET field1=’value1’, field2=’value2’, field3=’value3’ WHERE id=1
в відповіді на запит API достатньо повернути 200 код при успішній операції, і інший код з описом помилки, якщо щось пішло не так
ВАЖЛИВО:
Я буду додавати поля і індекси в таблицю articles, тому потрібно, щоб обидві команди працювали з будь-якими полями, нинішніми і майбутніми, а не були обмежені поточною структурою таблиці.
---
По-третє, потрібно розібратися з тим, як працює команда видалення, не будуть чи парситися заново статті, які видалилися командою.
Будь ласка, перегляньте код. Якщо що, писати парсер з нуля не потрібно.
Просмотрите пожалуйста код. Писать парсер с нуля если что не нужно.
-
121 Маю досвід праці з парсингом та FastAPI, не бачу нічого складного в вашій задачі.
-
3219 84 0 Готовий взятися.
Але треба уточнити деталі замовлення, пишіть!
Реалізую скриптом на python.
-
2830 19 0 доброго дня. готовий внести правки прямо зараз. напишіть в особисті повідомлення, будь ласка, обговоримо деталі і одразу готовий приступити
-
414 1 0 Привіт, займався розробкою парсерів на різних бібліотеках, пропоную перейти в ЛС для обговорення деталей виконання та обговорити терміни і ціну
-
597 2 1 Привіт! Розберуся з кодом, перевірю, налаштований чи автопарсинг, і якщо ні — додам. Дороблю API за вашим списком: реалізую запит N статей з фільтрацією та редагування статті за ID з урахуванням динамічної структури БД. Також вивчу логіку видалення, щоб уникнути повторного парсингу видалених статей. Готовий взятися вже найближчим часом і без зайвих питань виконати, пишіть обговоримо деталі
-
93973 1266 1 10 Привіт. Є досвід з Python. Готовий до співпраці. Звертайтеся
-
3482 50 0 Добрий вечір
готовий взятися за вашу роботу
Пишіть, буду радий допомогти з вашою задачею
Зроблю швидко і якісно
Актуальні фриланс-проєкти в категорії Python
Знайти товарний фід (Google Merchant XML) для сайту на OpenCart
700 UAH
Необхідно знайти пряме посилання на діючий товарний фід (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Знайти оригінальний фідВимоги до результату: Робоче посилання на XML-файл Python, Парсинг даних ∙ 5 годин 44 хвилини тому ∙ 17 ставок |
Розробка Тік-Ток ферми (контент-завод)Необхідно розробити систему для централізованого управління кількома TikTok-акаунтами з автоматичною публікацією контенту, використанням індивідуальних проксі та імітацією природної активності акаунтів. Функціональні вимоги1. Управління акаунтами Додавання та видалення… Python, Розробка ботів ∙ 17 годин 10 хвилин тому ∙ 14 ставок |
Покращити роботу Claude Code та роботу з написанням програмного забезпеченняЗараз розробляю СРМ та Аналітику, софт. Роблю через Клод Код, але розумію, що результати не найкращі в плані змін. Є 2 задачі - Потрібно допомогти зробити пресет по навичкам, мд і так далі, щоб покращити якість. Взяти перевірені, з якими працювали, а не з інтернету перші. - В… AI та машинне навчання, Python ∙ 23 години 45 хвилин тому ∙ 21 ставка |
Система OCRПотрібна система розпізнавання тексту на поштових конвертах (індекс кому - лише числа). Текст інколи може бути рукописним Розпізнавання марок (підрахунок кількості та номіналу) Python ∙ 1 день 2 години тому ∙ 21 ставка |
Шукаю White-label рішення Букмекерської контори під оренду |