Убрать ошибки в парсер на PHP с базой данных MYSQL
82 PLNТЕХНИЧЕСКОЕ ЗАДАНИЕ
Есть парсер на PHP с базой данных MYSQL и самописной админкой. Всё это в совокупности назовём «Чекер». Он собирает данные с указанных в админке сайтов и выводит статистику. Сайты построены зачастую одинаково и, вероятно, многие из них на одной админке. При этом на них присутствует какая-никакая защита.
До этого для успешного парсинга использовались HTTP заголовки, взятые из браузера при заходе на сайт. Однако на текущий момент чекер не работает и в админку нельзя попасть. Бесконечная загрузка, т.к. JS получил на вход неверный формат данных. А именно ошибку curl из php, т.к. чекер не может спарсить сайт.
(фрагмент кода из php файла парсера. Убрать его недостаточно, ведь пустые или ложные данные пойдут дальше и вызовут новые ошибки)
Исходя из этого, список задач:
1. Добиться того, чтобы все сайты парсились исправно (в т.ч. новые при добавлении из админки)
2. Сделать так, чтобы при неудачной попытке парсинга админка всё ещё была доступна.
2.1. Проследить, чтобы пустые или неверные данные при этом не попадали в бд и в админку.
2.2. (опционально) Выводить в админку сведения о неудачных попытках парсинга
(потому что статистика по сайту на текущий момент может оказаться неточной)
3. Создать инструкцию, как добавить новый сайт в админке
3.1. Как преобразовать http заголовки
Возможно, просто скопировать все http заголовки из браузера – не лучшая идея.
Есть подозрение, что устареет какой-нибудь SESSION_ID и сайт не даст себя парсить. Поэтому, с большой вероятностью их понадобится преобразовать (в т.ч. что-то добавить или удалить).
3.2. (опционально) Создавать нужные http заголовки автоматически, чтобы не было
необходимости их копировать из браузера.
4. (опционально) Сделать небольшой рефакторинг путей и подключений к бд.
Абсолютные пути лучше заменить относительными, а все подключения к бд вынести
в 1 файл. Для локального развёртывания чекера это всё равно пригодится.
-
3 dni246 PLN
714 7 0 3 dni246 PLN
Наверняка проблема не так проста, как кажется из описания. Но нет ничего невозможного.
-
1 dzień82 PLN
467 9 0 1 dzień82 PLN
Здравствуйте, Виктория!
Заинтересовал ваш проект, после уточнения деталей могу приступать к работе.
Навыки: HTML, CSS, JavaScript, PHP, GIT, Gulp, Bootstrap, React.js;
CMS: WordPress, Opencart, Ocstore;
Конечные строки и цена после обсуждения деталей.
Работу выполню качественно и в срок.
… С уважением,
Александр
Aktualne zlecenia dla freelancerów w kategorii PHP
Audyt stronyZadanie dotyczące technicznego debugowania OpenCart 3 (ocStore). Potrzebuję stałego budżetu za wynik, a nie płatności godzinowej. Lista prac 1. Naprawa 500 błędu: Przy aktualizacji modyfikatorów występuje konflikt (prawdopodobnie między system/seo_package.ocmod.xml a… Content Management Systems, PHP ∙ 7 minut temu ∙ 7 ofert |
Opracowanie jednego projektu na podstawie dopracowania i połączenia 4 skryptówWitam. Należy połączyć 4 skrypty różnych autorów w jedną całość. Skład - forum - portal wideo - portal artykułów - tablica ogłoszeń. Same skrypty dostarczam. Szczegółowe tzw w załączonych plikach. Proszę przemyśleć, jak za stosunkowo niewielką kwotę można zebrać potrzebną… PHP, Programowanie stron internetowych ∙ 1 godzina 34 minuty temu ∙ 9 ofert |
Strona na WordPressie z wykorzystaniem motywu Kadence i Kadence Blocks.
820 PLN
Musimy stworzyć stronę na WordPressie z wykorzystaniem motywu Kadence oraz Kadence Blocks. Sklepu internetowego nie będzie (chociaż prawdopodobnie zostanie dodany w przyszłości). Potrzebna jest strona główna oraz kilka stron wewnętrznych. Grafika jest już gotowa, struktura… Content Management Systems, PHP ∙ 5 godzin 1 minuta temu ∙ 24 oferty |
Układ strony
91 PLN
Potrzebna jest realizacja layoutu strony, proszę zostawić przykłady prac i cenę Kryteria/życzenia dotyczące layoutu: - Termin do 11-12 dnia; - Responsywność: PC, tablet, mobil; - Wiele elementów się powtarza, animacji nie będzie (strony z techniką są jednorodne) - Platforma:… Układ HTML i CSS, PHP ∙ 14 godzin 14 minut temu ∙ 61 ofert |
Opracowanie 2 stron internetowych zorientowanych na SEO do sprzedaży części (quady i sprzęt specjalistyczny)Opracowanie dwóch specjalistycznych stron internetowych do sprzedaży części zamiennychOgólne informacjeNależy opracować dwie specjalistyczne strony:Części zamienne do quadów, UTV, SSV i innego podobnego sprzętu.Części zamienne do sprzętu specjalistycznego.Istniejąca strona… PHP, Programowanie stron internetowych ∙ 1 dzień 2 godziny temu ∙ 58 ofert |
Krzywego Rogu