ЕХНИЧЕСКОЕ ЗАДАНИЕ
Есть парсер на PHP с базой данных MYSQL и самописной админкой. Всё это в совокупности назовём «Чекер». Он собирает данные с указанных в админке сайтов и выводит статистику. Сайты построены зачастую одинаково и, вероятно, многие из них на одной админке. При этом на них присутствует какая-никакая защита.
До этого для успешного парсинга использовались HTTP заголовки, взятые из браузера при заходе на сайт. Однако на текущий момент чекер не работает и в админку нельзя попасть. Бесконечная загрузка, т.к. JS получил на вход неверный формат данных. А именно ошибку curl из php, т.к. чекер не может спарсить сайт.
(фрагмент кода из php файла парсера. Убрать его недостаточно, ведь пустые или ложные данные пойдут дальше и вызовут новые ошибки)
Исходя из этого, список задач:
1. Добиться того, чтобы все сайты парсились исправно (в т.ч. новые при добавлении из админки)
2. Сделать так, чтобы при неудачной попытке парсинга админка всё ещё была доступна.
2.1. Проследить, чтобы пустые или неверные данные при этом не попадали в бд и в админку.
2.2. (опционально) Выводить в админку сведения о неудачных попытках парсинга
(потому что статистика по сайту на текущий момент может оказаться неточной)
3. Создать инструкцию, как добавить новый сайт в админке
3.1. Как преобразовать http заголовки
Возможно, просто скопировать все http заголовки из браузера – не лучшая идея.
Есть подозрение, что устареет какой-нибудь SESSION_ID и сайт не даст себя парсить. Поэтому, с большой вероятностью их понадобится преобразовать (в т.ч. что-то добавить или удалить).
3.2. (опционально) Создавать нужные http заголовки автоматически, чтобы не было
необходимости их копировать из браузера.
4. (опционально) Сделать небольшой рефакторинг путей и подключений к бд.
Абсолютные пути лучше заменить относительными, а все подключения к бд вынести
в 1 файл. Для локального развёртывания чекера это всё равно пригодится.
Budget: 3000 UAH Deadline: 1 day
Смогу помочь, любой уровень сложности. Пишите, обсудим, помогу.
Budget: 4000 UAH Deadline: 8 days
Готов заняться решением данной задачи. Сделаем клон на дев. Когда всё реализую, то смерджим всё (через гит или ftp).
