Создание файла robots.txt

Robots.txt - это файл, который указывает поисковой системе, какие страницы сайта можно индексировать, а какие нет. Правильно прописанный файл robots.txt позволяет индексировать сайт и одновременно закрывает от индексации те страницы сайта, которые не должны быть в индексе поисковой системы (служебные страницы, страницы поиска, страницы сортировки и другие).