Будь ласка, ознайомтеся з детальною інформацією про проблему:
Головна проблема - Аhrefs не сканує сайт після того, як людина, яка намагалася оптимізувати швидкість сайту
Проблема, яку повідомив Аhrefs:
Site Audit bot не зміг отримати доступ до файлу robots.txt на вашому сайті. Ми або отримали HTTP-код, що забороняє нам доступ до файлу, або сервер не зміг задовольнити запит. Коли таке відбувається, наш бот поводиться консервативно і вважає весь домен забороненим для перегляду.
Найбільш ймовірна причина полягає в тому, що ваш сайт блокує доступ нашого краулера до нього на стороні сервера. Ця проблема не повинна впливати на відвідувачів, але вона означає, що деякі краулери не зможуть проповзти по вашому сайту.
Аhrefs пропонує виправити так: (але цей метод не підходить, потрібно усунути проблему на сайті)
Переконайтеся, що у вас немає брандмауера або плагіна, що блокує ботів, а якщо є, то внесіть наш користувацький агент AhrefsSiteAudit в білий список цієї системи. Також додайте наш IP в білий список сервера.
Що робив фрилансер після того, як сталася проблема:
Він робив оптимізацію через Litespeed з увімкненням Object Cache
Встановлення та увімкнення WP Meteor
Зміни в кастомізації теми футера з увімкненням пункту Subscription Form і зміною варіанту футера
Конвертація через Webp Express фото в Webp для швидкості роботи
Це все, через Debloat ще вмикав функцію Remove unused css, тому елементи і зникали, бо видаляли стилі невидимих елементів, ще вчора я це вимкнув для стилів теми і плагінів
На першому скріні помилка, ще вчора при скануванні було все добре, на 2 скріні час появи помилки.
