Привожу существующий код ниже. Подскажите, пожалуйста, где можно оптимизировать код скрипта, чтобы он работал хотя бы раза в 4-5 быстрее.
У скрипта банальное предназначение: разбить текст страницы на отдельные слова и получить их частоту вхождения на странице.
$start = microtime(true); // ДЛЯ ЗАМЕРА ВРЕМЕНИ ВЫПОЛНЕНИЯ СКРИПТА
$text = file_get_contents('https://ilibrary.ru/text/107/p.9/index.html');
//$text = clear_html($html); Очищаем html от javascript, css и других подобных вставок, которые не нужно учитывать в тексте при разбивки на слова
//echo $text."<hr>";;
$text=str_replace("<"," <",$text); //Добавляем пробел перед и после каждого тега
$text=str_replace(">","> ",$text);
$text=strip_tags($text);
//echo $text."<hr>";;
$text=mb_strtolower($text, 'UTF-8');
//echo $text."<hr>";
$text = preg_replace('/ё/u', 'е', $text);
//echo $text."<hr>";
$sum = 0;
$text_page = array();
$word_arr = preg_split("/[^a-zа-я-]+/mu", $text);
//$word_arr = mb_split("[^a-zа-я-]+", $text);
//var_dump($word_arr);
foreach($word_arr as $w)
{
if(strlen(trim($w)) == 0) continue;
//$w = mb_strtolower($w,"UTF-8");
if(!isset($text_page[$w])) $text_page[$w] = 0;
$text_page[$w]++;
$sum += 1;
//if(is_array($arr_sort_all))
if(isset($arr_sort_all))
{if(!isset($arr_sort_all[$w])) $arr_sort_all[$w] = 1; else $arr_sort_all[$w]++;
}
/*
if(isset($all_slovoforms))
{if(!isset($all_slovoforms[$w])) $all_slovoforms[$w] = 1; else $all_slovoforms[$w]++;
}*/
}
if($sum > 0) foreach($text_page as $w=>&$c){ $text_page[$w] = round(100*$c/$sum,3);}
print_r($text_page);
//Слова и их частота в тексте в массиве $text_page
Бюджет: 500 UAH Срок: 1 день
Добрый день!
На выходе массив, содержащий слова, сколько раз каждое встретилось и время выполнения?
Выполню, ещё и быстро :)
Читайте отзывы и обращайтесь.
Используйте phpquery, она быстрее в разы парсит страницы
5 октября 2018
В ней нет функции разбивки на слова, по крайне мере я не нашел, да обычная регулярка по идее справляется быстрее, как в текущем примере. Я не прав?
Так будет сотрудничество?
Phpquery получает результат быстрее,потом этот результат можно разбивать и смотреть через бенчмарк чем быстрее.
На хайлоад проекте работает phpquery,пока справляется.
5 октября 2018
Это все слишком сложно, зачем еще нужен бечмарк? В моем коде есть замер времени выполнения одной строчкой. Этого достаточно, хотелось бы обойтись без phpquery, но посмотрим, возможно Вы правы.
5 октября 2018
Жду еще профессиональных мнений
Я в проекте ответил, если понял верно - то уже сделано:
http://joxi.ru/MAj0PgBSjRgpam
http://joxi.ru/EA4N8g4soP64km
5 октября 2018
Спасибо! Сравнивали ли скорость выполнения до и после оптимизации?
Там не было оптимизации, я новый скрипт написал. И сравнивать не с чем, выводились строки то ли со стилями, то-ли ещё какая-то не нужная инфа, да и сама реализация хромала.
Я думаю, нынешний скрипт придётся постараться нагрузить так, чтоб он тормозил. Единственное, что в любом случае будет влиять на скорость - ответ сервера по ссылке загружаемого контента.
5 октября 2018
Понял. Слова Вы парсите, как предложил Денис, путем использования библиотеки Phpquery ? Или регуляркой? Как php нужен для запуска? Будет ли работать на старой версии?
Библиотеки не используются, только один лёгкий php скрипт для парсинга html.
С ним ни проблем с отделением скриптов, ни с кодировкой нет, что у меня возникло с другими. Я всё прокомментировал в скрипте, легко разберётесь.
5 октября 2018
Спасибо, сейчас отправлю в ЛС
Копирование базы и фронта для базы (Сейчас частично скопирован фронт и некоторые характеристики, но неправильно. Парсер заполнил базу своими характеристиками) Синхронизация парсера с базой и характеристиками базы Исправить баг агента парсера Обрезка фото пропорционально водяному знаку, которые падают с парсера Работа буфера с новой базой и инструментов с объектами данной базы Исправление незначительных багов: например, текст попапов или мелкие моменты на фронте, баги, которые появятся во время выполнения задач Подключение нового хранилища для хранения медиа Логи перестали записываться в таблицу финансовых операций, что насчет страниц баланса и тарифного плана (оплата тарифа, пополнение счета (успешно/нет)) Проверить еще раз работу оплаты и после заменить тестовый API биллинга от монобанк на реальный Дополнить права доступа для пользователя администратора баз Сейчас есть зависшие процессы, которые загружают сервер, нужно это проверить Логика комментариев и заметок сейчас работает неправильно, нужно, чтобы для одного и того же объекта в 2 базах - комментарии были привязаны к каждой базе, а не к объекту, источником которого является объект данной базы (Более детально смогу объяснить в личных) Зафиксировать в базах правильную сортировку (Сейчас от первого добавленного до последнего. Нужно наоборот, функционал сортировки создан) Проверить и исправить корректность фильтров в базах, возможно добавить ограничения на фильтрацию при больших объемах данных
Необходимо перенести самописный проект с CodeIgniter 2 на Laravel 12. Подробности предоставлю в личные сообщения.
Проект Существующий сайт разработан на Symfony. Необходимо принять проект на поддержку, ознакомиться с кодом и далее выполнять доработки. Основные задачи Внедрить все технические рекомендации SEO-специалиста согласно предоставленному техническому заданию. Внести изменения в конфигуратор памятников в соответствии с отдельным перечнем требований. Реализовать обновленный дизайн сайта (верстка и интеграция нового дизайна). Выполнять дальнейшие технические доработки и поддержку сайта по мере необходимости. От разработчика ожидается Ознакомление со структурой проекта и кодовой базой. Оценка стоимости и сроков выполнения каждого этапа. Соблюдение существующей архитектуры проекта и качественная реализация изменений. Поддержка связи по выполнению задач и возможным техническим решениям.
Хочу бот для Телеграмма. Загрузка диалогов. С помощью ИИ проверка на потенциальную ложь. Сайт с расширенными возможностями. Регистрация, апи, статистика и т д .
Необходимо мигрировать интернет-магазин Opencart с PHP 7.4 на PHP 8.x. В настоящее время стоит ядро v 3.0.3.8. Читаем, что скорее всего придется мигрировать и ядро на версию 4.0 и вроде сложностей не должно быть... Функционал в основном кастомный, также есть Simple, OCFilter, Нова пошта. Ждем рекомендации и ориентировочную цену. В идеале, кто уже проводил подобную работу.