Привожу существующий код ниже. Подскажите, пожалуйста, где можно оптимизировать код скрипта, чтобы он работал хотя бы раза в 4-5 быстрее.
У скрипта банальное предназначение: разбить текст страницы на отдельные слова и получить их частоту вхождения на странице.
$start = microtime(true); // ДЛЯ ЗАМЕРА ВРЕМЕНИ ВЫПОЛНЕНИЯ СКРИПТА
$text = file_get_contents('https://ilibrary.ru/text/107/p.9/index.html');
//$text = clear_html($html); Очищаем html от javascript, css и других подобных вставок, которые не нужно учитывать в тексте при разбивки на слова
//echo $text."<hr>";;
$text=str_replace("<"," <",$text); //Добавляем пробел перед и после каждого тега
$text=str_replace(">","> ",$text);
$text=strip_tags($text);
//echo $text."<hr>";;
$text=mb_strtolower($text, 'UTF-8');
//echo $text."<hr>";
$text = preg_replace('/ё/u', 'е', $text);
//echo $text."<hr>";
$sum = 0;
$text_page = array();
$word_arr = preg_split("/[^a-zа-я-]+/mu", $text);
//$word_arr = mb_split("[^a-zа-я-]+", $text);
//var_dump($word_arr);
foreach($word_arr as $w)
{
if(strlen(trim($w)) == 0) continue;
//$w = mb_strtolower($w,"UTF-8");
if(!isset($text_page[$w])) $text_page[$w] = 0;
$text_page[$w]++;
$sum += 1;
//if(is_array($arr_sort_all))
if(isset($arr_sort_all))
{if(!isset($arr_sort_all[$w])) $arr_sort_all[$w] = 1; else $arr_sort_all[$w]++;
}
/*
if(isset($all_slovoforms))
{if(!isset($all_slovoforms[$w])) $all_slovoforms[$w] = 1; else $all_slovoforms[$w]++;
}*/
}
if($sum > 0) foreach($text_page as $w=>&$c){ $text_page[$w] = round(100*$c/$sum,3);}
print_r($text_page);
//Слова и их частота в тексте в массиве $text_page
Budżet: 500 UAH Termin: 1 dzień
Добрый день!
На выходе массив, содержащий слова, сколько раз каждое встретилось и время выполнения?
Выполню, ещё и быстро :)
Читайте отзывы и обращайтесь.
Используйте phpquery, она быстрее в разы парсит страницы
5 października 2018
В ней нет функции разбивки на слова, по крайне мере я не нашел, да обычная регулярка по идее справляется быстрее, как в текущем примере. Я не прав?
Так будет сотрудничество?
Phpquery получает результат быстрее,потом этот результат можно разбивать и смотреть через бенчмарк чем быстрее.
На хайлоад проекте работает phpquery,пока справляется.
5 października 2018
Это все слишком сложно, зачем еще нужен бечмарк? В моем коде есть замер времени выполнения одной строчкой. Этого достаточно, хотелось бы обойтись без phpquery, но посмотрим, возможно Вы правы.
5 października 2018
Жду еще профессиональных мнений
Я в проекте ответил, если понял верно - то уже сделано:
http://joxi.ru/MAj0PgBSjRgpam
http://joxi.ru/EA4N8g4soP64km
5 października 2018
Спасибо! Сравнивали ли скорость выполнения до и после оптимизации?
Там не было оптимизации, я новый скрипт написал. И сравнивать не с чем, выводились строки то ли со стилями, то-ли ещё какая-то не нужная инфа, да и сама реализация хромала.
Я думаю, нынешний скрипт придётся постараться нагрузить так, чтоб он тормозил. Единственное, что в любом случае будет влиять на скорость - ответ сервера по ссылке загружаемого контента.
5 października 2018
Понял. Слова Вы парсите, как предложил Денис, путем использования библиотеки Phpquery ? Или регуляркой? Как php нужен для запуска? Будет ли работать на старой версии?
Библиотеки не используются, только один лёгкий php скрипт для парсинга html.
С ним ни проблем с отделением скриптов, ни с кодировкой нет, что у меня возникло с другими. Я всё прокомментировал в скрипте, легко разберётесь.
5 października 2018
Спасибо, сейчас отправлю в ЛС
Opis projektu Poszukujemy doświadczonego dewelopera lub małego zespołu do stworzenia nowoczesnego sklepu internetowego dla salonu optycznego. Celem jest nie tylko aktualizacja designu, ale stworzenie efektywnego narzędzia do sprzedaży online, które w przyszłości stanie się głównym kanałem sprzedaży firmy. Obecna strona już działa i ma historię SEO, dlatego ważne jest, aby maksymalnie zachować pozycje w Google podczas przejścia na nową stronę. Za podstawę UX i logiki działania bierzemy nowoczesne światowe sklepy internetowe optyki (np. Warby Parker), ale rozwiązania muszą być dostosowane do ukraińskiego rynku.Wymagana funkcjonalność WordPress + WooCommerce nowoczesny responsywny design katalog produktów z filtrami Mega Menu wybór opraw i soczewek konfigurator zamówienia okularów możliwość przesyłania recepty online rejestracja na badanie wzroku online płatność integracja z Nową Pocztą prosty panel administracyjny import produktów struktura przyjazna SEO możliwość dalszej integracji AI-konsultantaWażne Potrzebny specjalista, który ma doświadczenie w tworzeniu sklepów internetowych, rozumie UX, SEO, konwersję i może zaproponować własne rozwiązania dotyczące poprawy projektu. Szczegółowe zadanie techniczne zostanie przekazane po wstępnym wyselekcjonowaniu kandydatów.Prosimy w odpowiedzi wskazać Linki do 3–5 podobnych zrealizowanych sklepów internetowych. Twoje doświadczenie z WooCommerce. Jak planujesz zachować SEO podczas przenoszenia strony. Jakie ulepszenia rekomendujesz w celu zwiększenia konwersji. Orientacyjny koszt projektu. Orientacyjny czas realizacji.Specjalizacja ✅ Tworzenie stron internetowych ✅ Sklepy internetowe i e-commerce ✅ WordPress ✅ WooCommerce ✅ PHP
Kopiowanie bazy i frontu dla bazy (Obecnie częściowo skopiowany front i niektóre cechy, ale niepoprawnie. Parser wypełnił bazę swoimi cechami) Synchronizacja parsera z bazą i cechami bazy Naprawa błędu agenta parsera Przycinanie zdjęć proporcjonalnie do znaku wodnego, które spływają z parsera Praca bufora z nową bazą i narzędziami z obiektami tej bazy Poprawienie drobnych błędów: na przykład tekst popupów lub drobne momenty na froncie, błędy, które pojawią się podczas realizacji zadań Podłączenie nowego magazynu do przechowywania mediów Logi przestały trafiać do tabeli operacji finansowych, co nas stronach bilansu i planu taryfowego (płatność taryfy, doładowanie konta (sukces/nie)) Sprawdzić jeszcze raz działanie płatności i po tym zamienić testowe API billingowe od monobanku na rzeczywiste Udoskonalić prawa dostępu dla użytkownika administratora baz Obecnie są zawieszone procesy, które obciążają serwer, trzeba to sprawdzić Logika komentarzy i notatek obecnie działa niepoprawnie, trzeba, aby dla tego samego obiektu w 2 bazach - komentarze były przypisane do każdej bazy, a nie do obiektu, źródłem którego jest obiekt tej bazy (Bardziej szczegółowo mogę wyjaśnić osobiście) Zafiksować w bazach poprawne sortowanie (Obecnie od pierwszego dodanego do ostatniego. trzeba odwrotnie, funkcjonalność sortowania stworzona) Sprawdzić i poprawić poprawność filtrów w bazach, możliwe, że dodać ograniczenia na filtrację przy dużych objętościach danych
Trzeba przenieść autorski projekt z CodeIgniter 2 na Laravel 12. Szczegóły podam w wiadomościach prywatnych.
Projekt Istniejąca strona została opracowana w Symfony. Należy przejąć projekt na wsparcie, zapoznać się z kodem i w przyszłości realizować poprawki. Główne zadania Wdrożyć wszystkie techniczne zalecenia specjalisty SEO zgodnie z dostarczonym zadaniem technicznym. Wprowadzić zmiany w konfiguratorze pomników zgodnie z oddzielną listą wymagań. Zrealizować zaktualizowany design strony (markup i integracja nowego designu). Wykonywać dalsze techniczne poprawki i wsparcie strony w razie potrzeby. Od dewelopera oczekuje się Zapoznania się ze strukturą projektu i bazą kodu. Oceny kosztów i terminów realizacji każdego etapu. Przestrzegania istniejącej architektury projektu i jakościowej realizacji zmian. Utrzymywania kontaktu w sprawie realizacji zadań i możliwych rozwiązań technicznych.
Chcę bota do Telegramu. Ładowanie dialogów. Z pomocą AI sprawdzanie na potencjalne kłamstwo. Strona z rozszerzonymi możliwościami. Rejestracja, API, statystyki itd.