Убрать ошибки в парсер на PHP с базой данных MYSQL
1000 UAHТЕХНИЧЕСКОЕ ЗАДАНИЕ
Есть парсер на PHP с базой данных MYSQL и самописной админкой. Всё это в совокупности назовём «Чекер». Он собирает данные с указанных в админке сайтов и выводит статистику. Сайты построены зачастую одинаково и, вероятно, многие из них на одной админке. При этом на них присутствует какая-никакая защита.
До этого для успешного парсинга использовались HTTP заголовки, взятые из браузера при заходе на сайт. Однако на текущий момент чекер не работает и в админку нельзя попасть. Бесконечная загрузка, т.к. JS получил на вход неверный формат данных. А именно ошибку curl из php, т.к. чекер не может спарсить сайт.
(фрагмент кода из php файла парсера. Убрать его недостаточно, ведь пустые или ложные данные пойдут дальше и вызовут новые ошибки)
Исходя из этого, список задач:
1. Добиться того, чтобы все сайты парсились исправно (в т.ч. новые при добавлении из админки)
2. Сделать так, чтобы при неудачной попытке парсинга админка всё ещё была доступна.
2.1. Проследить, чтобы пустые или неверные данные при этом не попадали в бд и в админку.
2.2. (опционально) Выводить в админку сведения о неудачных попытках парсинга
(потому что статистика по сайту на текущий момент может оказаться неточной)
3. Создать инструкцию, как добавить новый сайт в админке
3.1. Как преобразовать http заголовки
Возможно, просто скопировать все http заголовки из браузера – не лучшая идея.
Есть подозрение, что устареет какой-нибудь SESSION_ID и сайт не даст себя парсить. Поэтому, с большой вероятностью их понадобится преобразовать (в т.ч. что-то добавить или удалить).
3.2. (опционально) Создавать нужные http заголовки автоматически, чтобы не было
необходимости их копировать из браузера.
4. (опционально) Сделать небольшой рефакторинг путей и подключений к бд.
Абсолютные пути лучше заменить относительными, а все подключения к бд вынести
в 1 файл. Для локального развёртывания чекера это всё равно пригодится.
-
3 дня3000 UAH
714 7 0 3 дня3000 UAH
Наверняка проблема не так проста, как кажется из описания. Но нет ничего невозможного.
-
1 день1000 UAH
467 9 0 1 день1000 UAH
Здравствуйте, Виктория!
Заинтересовал ваш проект, после уточнения деталей могу приступать к работе.
Навыки: HTML, CSS, JavaScript, PHP, GIT, Gulp, Bootstrap, React.js;
CMS: WordPress, Opencart, Ocstore;
Конечные строки и цена после обсуждения деталей.
Работу выполню качественно и в срок.
… С уважением,
Александр
Актуальные фриланс-проекты в категории PHP
Ищу White-label решение Букмекерской конторы под аренду |
Разработка веб-сайта WordPress
1002 UAH
|
Сломалась корзина WooCommerce (WordPress) — не добавляет товар и не открывается страница корзиныНа сайте интернет-магазина https://www.dobryi-gospodar.com/ (WordPress + WooCommerce) полностью перестала работать функция оформления заказа. При нажатии на кнопку "Добавить в корзину" (как в карточке товара, так и в каталоге) начинается длительная загрузка (индикатор крутится),… CMS, PHP ∙ 2 дня 8 часов назад ∙ 60 ставок |
Функция поиска товаров по изображениюНеобходимо разработать и интегрировать на сайт функциюпоиска товаров по изображению.Что нужно реализоватьКнопка«Поиск по фото»на сайте.Загрузка изображения пользователем: JPG.Поиск визуально похожих товаров в каталоге.Вывод результатов в виде стандартных карточек товаров: фото,… PHP, Веб-программирование ∙ 2 дня 16 часов назад ∙ 45 ставок |
Парсер expireddomains.net
5000 UAH
Нужен парсер expireddomains.net на сайте нужно сначала залогиниться, проблема в том что блокирует ИП при попытке парсить данные, нужно парсить тематические домены по списку ключевых слов, кто не уверен в своих силах не пишите PHP, Веб-программирование ∙ 4 дня 15 часов назад ∙ 51 ставка |
Кривой Рог