Убрать ошибки в парсер на PHP с базой данных MYSQL
23 USDТЕХНИЧЕСКОЕ ЗАДАНИЕ
Есть парсер на PHP с базой данных MYSQL и самописной админкой. Всё это в совокупности назовём «Чекер». Он собирает данные с указанных в админке сайтов и выводит статистику. Сайты построены зачастую одинаково и, вероятно, многие из них на одной админке. При этом на них присутствует какая-никакая защита.
До этого для успешного парсинга использовались HTTP заголовки, взятые из браузера при заходе на сайт. Однако на текущий момент чекер не работает и в админку нельзя попасть. Бесконечная загрузка, т.к. JS получил на вход неверный формат данных. А именно ошибку curl из php, т.к. чекер не может спарсить сайт.
(фрагмент кода из php файла парсера. Убрать его недостаточно, ведь пустые или ложные данные пойдут дальше и вызовут новые ошибки)
Исходя из этого, список задач:
1. Добиться того, чтобы все сайты парсились исправно (в т.ч. новые при добавлении из админки)
2. Сделать так, чтобы при неудачной попытке парсинга админка всё ещё была доступна.
2.1. Проследить, чтобы пустые или неверные данные при этом не попадали в бд и в админку.
2.2. (опционально) Выводить в админку сведения о неудачных попытках парсинга
(потому что статистика по сайту на текущий момент может оказаться неточной)
3. Создать инструкцию, как добавить новый сайт в админке
3.1. Как преобразовать http заголовки
Возможно, просто скопировать все http заголовки из браузера – не лучшая идея.
Есть подозрение, что устареет какой-нибудь SESSION_ID и сайт не даст себя парсить. Поэтому, с большой вероятностью их понадобится преобразовать (в т.ч. что-то добавить или удалить).
3.2. (опционально) Создавать нужные http заголовки автоматически, чтобы не было
необходимости их копировать из браузера.
4. (опционально) Сделать небольшой рефакторинг путей и подключений к бд.
Абсолютные пути лучше заменить относительными, а все подключения к бд вынести
в 1 файл. Для локального развёртывания чекера это всё равно пригодится.
-
3 days68 USD
714 7 0 3 days68 USD
Наверняка проблема не так проста, как кажется из описания. Но нет ничего невозможного.
-
1 day23 USD
467 9 0 1 day23 USD
Здравствуйте, Виктория!
Заинтересовал ваш проект, после уточнения деталей могу приступать к работе.
Навыки: HTML, CSS, JavaScript, PHP, GIT, Gulp, Bootstrap, React.js;
CMS: WordPress, Opencart, Ocstore;
Конечные строки и цена после обсуждения деталей.
Работу выполню качественно и в срок.
… С уважением,
Александр
Current freelance projects in the category PHP
Multifunctional HTML template for a betting website and parsing match API (
25 USD
I have a Sportsbook API, I need to download a template for an online betting website from the internet and integrate match parsing and a payment system into it) the task is very simple, write who can do it right away) essentially, I need a basic website for testing with a… PHP, Python ∙ 3 hours 35 minutes back ∙ 12 proposals |
Resolve the loading issue on the PrestaShop website hosting
The website requires more and more resources each month. The host's response: During the server check, increased load from the MySQL database server was recorded. At times of the 500 error, the MySQL process uses a significant portion of CPU resources, which can lead to unstable… PHP, Databases & SQL ∙ 4 hours 31 minutes back ∙ 18 proposals |
Integration needed: KeyCRM → Cash Register KashalotIt is necessary to set up integration between KeyCRM and the Cash Register Kahalot. When placing an order in KeyCRM, the data must be automatically transmitted to Kahalot: • order information • products, nomenclature • prices • quantity More details in private. Content Management Systems, PHP ∙ 5 hours 51 minutes back ∙ 17 proposals |
A WordPress site using the Kadence theme and Kadence Blocks.
225 USD
We need to create a website on WordPress using the Kadence theme and Kadence Blocks. There will be no online store (although it may be added in the future). We need a homepage and several internal pages. The graphics are already prepared, the layout structure is mostly defined,… Content Management Systems, PHP ∙ 1 day 15 hours back ∙ 37 proposals |
Development of 2 SEO-oriented websites for selling spare parts (ATVs and special equipment)Development of Two Specialized Websites for Selling Spare PartsGeneral Information It is necessary to develop two specialized websites: Spare parts for ATVs, UTVs, SSVs, and other similar equipment. Spare parts for special equipment. Existing company website:… PHP, Web Programming ∙ 2 days 12 hours back ∙ 76 proposals |
Krivoi Rog