Убрать ошибки в парсер на PHP с базой данных MYSQL
1000 UAHТЕХНИЧЕСКОЕ ЗАДАНИЕ
Есть парсер на PHP с базой данных MYSQL и самописной админкой. Всё это в совокупности назовём «Чекер». Он собирает данные с указанных в админке сайтов и выводит статистику. Сайты построены зачастую одинаково и, вероятно, многие из них на одной админке. При этом на них присутствует какая-никакая защита.
До этого для успешного парсинга использовались HTTP заголовки, взятые из браузера при заходе на сайт. Однако на текущий момент чекер не работает и в админку нельзя попасть. Бесконечная загрузка, т.к. JS получил на вход неверный формат данных. А именно ошибку curl из php, т.к. чекер не может спарсить сайт.
(фрагмент кода из php файла парсера. Убрать его недостаточно, ведь пустые или ложные данные пойдут дальше и вызовут новые ошибки)
Исходя из этого, список задач:
1. Добиться того, чтобы все сайты парсились исправно (в т.ч. новые при добавлении из админки)
2. Сделать так, чтобы при неудачной попытке парсинга админка всё ещё была доступна.
2.1. Проследить, чтобы пустые или неверные данные при этом не попадали в бд и в админку.
2.2. (опционально) Выводить в админку сведения о неудачных попытках парсинга
(потому что статистика по сайту на текущий момент может оказаться неточной)
3. Создать инструкцию, как добавить новый сайт в админке
3.1. Как преобразовать http заголовки
Возможно, просто скопировать все http заголовки из браузера – не лучшая идея.
Есть подозрение, что устареет какой-нибудь SESSION_ID и сайт не даст себя парсить. Поэтому, с большой вероятностью их понадобится преобразовать (в т.ч. что-то добавить или удалить).
3.2. (опционально) Создавать нужные http заголовки автоматически, чтобы не было
необходимости их копировать из браузера.
4. (опционально) Сделать небольшой рефакторинг путей и подключений к бд.
Абсолютные пути лучше заменить относительными, а все подключения к бд вынести
в 1 файл. Для локального развёртывания чекера это всё равно пригодится.
-
3 дні3000 UAH
714 7 0 3 дні3000 UAH
Наверняка проблема не так проста, как кажется из описания. Но нет ничего невозможного.
-
1 день1000 UAH
467 9 0 1 день1000 UAH
Здравствуйте, Виктория!
Заинтересовал ваш проект, после уточнения деталей могу приступать к работе.
Навыки: HTML, CSS, JavaScript, PHP, GIT, Gulp, Bootstrap, React.js;
CMS: WordPress, Opencart, Ocstore;
Конечные строки и цена после обсуждения деталей.
Работу выполню качественно и в срок.
… С уважением,
Александр
Актуальні фриланс-проєкти в категорії PHP
Багатосторінковий HTML-шаблон веб-сайту для онлайн-ставок та парсинг API матчів (
1109 UAH
|
Вирішити проблему навантаження на хостинг сайта на Престашоп
Сайт з кожним місяцем потребує більше і більше ресурсів. Відповідь хостера:Під час перевірки сервера було зафіксовано підвищене навантаження з боку сервера баз даних MySQL. У моменти виникнення помилки 500 процес MySQL використовує значну частину ресурсів процесора, що може… PHP, Бази даних та SQL ∙ 9 годин 16 хвилин тому ∙ 19 ставок |
Потрібна інтеграція KeyCRM → ПРРО Кашалот |
Сайт на WordPress з використанням теми Kadence та Kadence Blocks.
10 000 UAH
Нам потрібно створити сайт на WordPress з використанням теми Kadence та Kadence Blocks. Інтернет-магазину не буде (хоча, ймовірно, він буде доданий у майбутньому). Потрібна головна сторінка та кілька внутрішніх сторінок. Графіка вже готова, структура макета здебільшого… CMS, PHP ∙ 1 день 20 годин тому ∙ 37 ставок |
Розробка 2 SEO-орієнтованих сайтів з продажу запчастин (квадроцикли та спецтехніка)Розробка двох спеціалізованих сайтів з продажу запчастинЗагальна інформація Потрібно розробити два спеціалізовані сайти: Запчастини для квадроциклів, UTV, SSV та іншої подібної техніки. Запчастини для спеціальної техніки. Існуючий сайт компанії: https://kiaparts.com.ua/ Нові… PHP, Веб-програмування ∙ 2 дні 17 годин тому ∙ 76 ставок |
Кривий Ріг