Привожу существующий код ниже. Подскажите, пожалуйста, где можно оптимизировать код скрипта, чтобы он работал хотя бы раза в 4-5 быстрее.
У скрипта банальное предназначение: разбить текст страницы на отдельные слова и получить их частоту вхождения на странице.
$start = microtime(true); // ДЛЯ ЗАМЕРА ВРЕМЕНИ ВЫПОЛНЕНИЯ СКРИПТА
$text = file_get_contents('https://ilibrary.ru/text/107/p.9/index.html');
//$text = clear_html($html); Очищаем html от javascript, css и других подобных вставок, которые не нужно учитывать в тексте при разбивки на слова
//echo $text."<hr>";;
$text=str_replace("<"," <",$text); //Добавляем пробел перед и после каждого тега
$text=str_replace(">","> ",$text);
$text=strip_tags($text);
//echo $text."<hr>";;
$text=mb_strtolower($text, 'UTF-8');
//echo $text."<hr>";
$text = preg_replace('/ё/u', 'е', $text);
//echo $text."<hr>";
$sum = 0;
$text_page = array();
$word_arr = preg_split("/[^a-zа-я-]+/mu", $text);
//$word_arr = mb_split("[^a-zа-я-]+", $text);
//var_dump($word_arr);
foreach($word_arr as $w)
{
if(strlen(trim($w)) == 0) continue;
//$w = mb_strtolower($w,"UTF-8");
if(!isset($text_page[$w])) $text_page[$w] = 0;
$text_page[$w]++;
$sum += 1;
//if(is_array($arr_sort_all))
if(isset($arr_sort_all))
{if(!isset($arr_sort_all[$w])) $arr_sort_all[$w] = 1; else $arr_sort_all[$w]++;
}
/*
if(isset($all_slovoforms))
{if(!isset($all_slovoforms[$w])) $all_slovoforms[$w] = 1; else $all_slovoforms[$w]++;
}*/
}
if($sum > 0) foreach($text_page as $w=>&$c){ $text_page[$w] = round(100*$c/$sum,3);}
print_r($text_page);
//Слова и их частота в тексте в массиве $text_page
Budget: 500 UAH Deadline: 1 day
Добрый день!
На выходе массив, содержащий слова, сколько раз каждое встретилось и время выполнения?
Выполню, ещё и быстро :)
Читайте отзывы и обращайтесь.
Используйте phpquery, она быстрее в разы парсит страницы
5 October 2018
В ней нет функции разбивки на слова, по крайне мере я не нашел, да обычная регулярка по идее справляется быстрее, как в текущем примере. Я не прав?
Так будет сотрудничество?
Phpquery получает результат быстрее,потом этот результат можно разбивать и смотреть через бенчмарк чем быстрее.
На хайлоад проекте работает phpquery,пока справляется.
5 October 2018
Это все слишком сложно, зачем еще нужен бечмарк? В моем коде есть замер времени выполнения одной строчкой. Этого достаточно, хотелось бы обойтись без phpquery, но посмотрим, возможно Вы правы.
5 October 2018
Жду еще профессиональных мнений
Я в проекте ответил, если понял верно - то уже сделано:
http://joxi.ru/MAj0PgBSjRgpam
http://joxi.ru/EA4N8g4soP64km
5 October 2018
Спасибо! Сравнивали ли скорость выполнения до и после оптимизации?
Там не было оптимизации, я новый скрипт написал. И сравнивать не с чем, выводились строки то ли со стилями, то-ли ещё какая-то не нужная инфа, да и сама реализация хромала.
Я думаю, нынешний скрипт придётся постараться нагрузить так, чтоб он тормозил. Единственное, что в любом случае будет влиять на скорость - ответ сервера по ссылке загружаемого контента.
5 October 2018
Понял. Слова Вы парсите, как предложил Денис, путем использования библиотеки Phpquery ? Или регуляркой? Как php нужен для запуска? Будет ли работать на старой версии?
Библиотеки не используются, только один лёгкий php скрипт для парсинга html.
С ним ни проблем с отделением скриптов, ни с кодировкой нет, что у меня возникло с другими. Я всё прокомментировал в скрипте, легко разберётесь.
5 October 2018
Спасибо, сейчас отправлю в ЛС
We need a Laravel Backend Developer for the development and maintenance of server logic, databases, and core APIs for our web application. Responsibilities include developing and maintaining server logic and databases for our web application based on Laravel. The work involves integrating frontend frameworks with our server infrastructure and includes designing database architecture and executing queries on relational databases such as MySQL. Professional experience in Laravel development with at least three years of work in this field is required. Experience with integrating frontend frameworks with server infrastructure is also preferred.
We are looking for support for a project based on Yii , we need to make edits and improvements to the database, there is partially a connection with the previous contractor .....................
A virus has currently infiltrated the website. The site is not functioning properly. In particular, the main page is not working correctly. We need a developer who can fix this error as soon as possible.
A developer is needed with experience specifically in CS-Cart Multivendor for two related modifications on an existing online store. Task 1 - broken product photos. On the pages of some products, they do not display. Some photos show a "broken" image icon. Self-diagnosis revealed two different types of causes: The original photo exists on the server, but a specific non-standard (non-square) size needed for full-screen viewing of the photo is not generated (this function is from the third-party module "AB: Advanced Image Viewers," AlexBranding). Square sizes of the same photos are generated without problems. The original photo is completely absent on the server - a specific example and link will be provided upon response. Task 2 - warming up the cache of new products. The site automatically parses and adds new products every night (a separate cron script). Page caching is already set up and working, the warming of the main page and categories has already been done - but the pages of the new products themselves are still not warmed up immediately after import, so the first real buyer who opens a new product directly experiences slow "cold" loading. It is necessary to add automatic warming (curl/wget for the list of new products) immediately after the completion of the nightly import. All necessary access will be provided to you after selection. Work format: two separate stages with separate or joint payment for each task. First, diagnostics/analysis with written confirmation of the approach for each task, then implementation. Respond if you have relevant experience with CS-Cart Multivendor - details and a test task will be provided in personal correspondence.
Main functionality Laravel 11/12 PHP 8.3+ MySQL Responsive design High performance SEO-friendly Admin panelCatalog categories brands products search filters sorting product pagesTecDoc Integration with the TecDoc module is required: VIN search car search TecDoc catalog analog selection specifications photos cross-references (Experience with TecDoc integration will be a significant advantage.)Personal account registration authorization order history wishlistCart order placement Nova Poshta delivery online payment promo codesSEO SEO-friendly URLs Meta Title Meta Description Schema.org XML Sitemap robots.txt Open GraphAdmin panel product management category management brand management order management user management SEO bannersIntegrations Telegram notifications Nova Poshta API payment system (LiqPay or WayForPay)Requirements clean code Git documented codeFrom the contractor, we need examples of websites on Laravel experience with TecDoc approximate timelines cost technology stack