Общая + техническая SEO консультация.

А чому Ви вирішили що це є проблемою? Вам від сайту що головне, позиції і трафік, чи щоб не сканував те що в ноиндекс? Якщо у вас мала квота на сканування сайту то це питання в тому що у вас низький авторитет сайту. Працюйте над авторитетом і забудете за проблеми сканування і індексації скільки б фільтрів у вас не було

Подивіться на авторитетні ресурси у них у жодного немає проблем з індексацією. Притому фільтрів і мусорних сторінок там не те що мільони там їх мілярди і це не заважає їм бути в топ

Анатолій Глевацький 8 октября 2024

Я це розумію, але коли сайт новий не хотілося б витрачати тисячі сканувань на сміттєві урли (((

Ну ви можете хіба що заблокувати сканування цих сторінок гуглом. Але Ви не зможете ніяк заблокувати звернення гугла до цих сторінок. Тому сповіщення як приходили в консоль так і будуть приходити щоб ви не робили. Щоб таких сповіщень не було, вам потрібно було налашутвати код сайту так, аби на сайті не було жодного посилання на такі урли. Але це треба було робити до індексації в гуглі. А зараз вже це пізно, бо всі ці сторінки вже заскановані. 

Хіба що можна налаштувати технічно сайт як потрібно, після чого змінити домен))) Тоді все повинно бути ок) Але це таке, можна сказати, крайне рішення

Анатолій Глевацький 8 октября 2024

Але ж якщо зараз переробити, то наступні нові (створені каталоги) вже не будуть мати тих урлів і ця проблема не виросте, вірно?

Якщо програміст зробить усе чітко то так. Нові мусорні фільтра додаватися не повинні. Залишаться тільки старі, сповіщення по яким будуть приходити і надалі.

Анатолій Глевацький 8 октября 2024

Тобто, якщо я вірно зрозумів, щоб вирішити цю проблему, треба технічно прибрати ці урли з сторінок, вірно? По іншому всі ці ноіндекс не допоможуть і буде витрачатись бюджет і в Виключено тегом noindex будуть тисячі-міл-млрд урлів, щоб не зробити, так?

Справа в тому, що теги ноіндекс та нофолов не забороняють сканування сторінок. Вони забороняють тільки індексацію, а не сканування. Для налаштувань сканування використовується файл robots.txt. Але гугл давно перевів його зі статусу правило в статус рекомендації. Тобто те що ви заблокуєте в роботс, не дає жодної гарантії що гугл це не просканує. 

Щоб вирішити проблему, потрібно зробити так, аби гугл не міг фізично знайти ці сторінки на вашому сайті. Тобто на ці сторінки не повинно бути жодних посилань ні на сайті ні в коді словом ніде і жодного посилання (навіть в файлах джаваскриптів не повинно бути посилань). Тобто гугл не повинен мати змоги ніяким чином знайти на сайті ці сторінки. Якщо ваш програміст це зробить тоді проблема розростатися у вас не буде. Але зверненя до старих сторінок залишаться, бо вони вже є у базі гугл. І він буде звертатия до них постійно

Анатолій Глевацький 8 октября 2024

Зрозумів, дякую.

В роботсі закрийте.

😀

Анатолій Глевацький 8 октября 2024

???

Сподобалась відповідь щоб спробували в robots закрити.

нічого смішного, я завжди фільтра закриваю і не має жодних проблем. Вчіть мат часть не будете виглядати клоуном.

Google не раз казав, що файл robots - це не правило, а порада для боту. І саме тому, в вебмастері можна побачити строку: Проіндексовано незважаючи на заборону ...

Ви не розумієте, в неї 110 років досвіду, їй краще знати)

Ох ти вальнув)))) я угарнув)))

😀

Настройте last modified

Анатолій Глевацький 9 октября 2024

<lastmod>2024-10-03</lastmod>    це маєте на увазі?

Да. Полностью проверте через сервис как у вас он отрабатывает, отдает ли 304 код и в целом, какие даты. Со временем, он не будет индексировать то что не обновляется.

Проверьте правильность реализации тегов запрещающих индексацию. Потому что можно понять когда в файле роботс прописали запрет, это совет. Но когда в коде, то это правило. И робот открывая страницу, сверяется с кодами и статусами, а потом только страницу сканирует. 

Для існуючих сторінок так. Але якщо будуть створені нові сторінки мусорних фільтрів то ласт мод в них буде останньою датою (так як це новостворена сторінка) і вони будуть скануватися як і всі інші сторінки. Тому це більше підійде як наівміра

До того ж це знову таки не гарантія що гугл не буде їх сканувтаи. Гугл ігнорує роботс, гугл ігнорує канонікал, що йому той ласт мод.

а X-Robots-Tag у вас что отдает?