Створення файлу robots.txt

Robots.txt - це файл який вказує пошуковій системі які сторінки сайту можна індексувати, а які ні. Правильно прописаний файл robots.txt уможливлює індексацію сайту і водночас закриває від індексації ті сторінки сайту які не повинні бути в індексі пошукової системи (службові сторінки, сторінки пошуку, сторінки сортування та інші).