Пожалуйста, ознакомьтесь с подробной информацией о проблеме:
Главная проблема - Аhrefs не сканирует сайт после того как человек который пробовал оптимизировать скорость сайта
Проблема которую сообщил Аhrefs:
Site Audit bot не смог получить доступ к файлу robots.txt на вашем сайте. Мы либо получили HTTP-код, запрещающий нам доступ к файлу, либо сервер не смог удовлетворить запрос. Когда такое происходит, наш бот ведет себя консервативно и считает весь домен запрещенным к просмотру.
Наиболее вероятная причина заключается в том, что ваш сайт блокирует доступ нашего краулера к нему на стороне сервера. Эта проблема не должна влиять на посетителей, но она означает, что некоторые краулеры не смогут проползти по вашему сайту.
Аhrefs предлагает исправить так: (но этот метод не пожходит нужно устранить проблему на сайте)
Убедитесь, что у вас нет брандмауэра или плагина, блокирующего ботов, а если есть, то внесите наш пользовательский агент AhrefsSiteAudit в белый список этой системы. Также добавьте наш IP в белый список сервера.
Что делал фрилансер после чего случилась проблема:
Он делал оптимизацию через Litespeed с включением Object Cache
Установка и включение WP Meteor
Изменение в кастомизация темы футера включением пункта Subscription Form и сменой варианта футера
Конвертация через Webp Express фото в Webp для скорости работы
Это всё, через Debloat ещё включал функцию Remove unused css, потому элементы и пропадали, ибо удаляло стили невидимых элементов, ещё вчера я это отключил для стилей темы и плагинов
На первом скрине ошибка, еще вчера при сканировании было все хорошо, на 2 скрине время появления ошибки.
