Tworzenie pliku robots.txt

Robots.txt - to plik, który wskazuje wyszukiwarkom, które strony witryny można indeksować, a które nie. Prawidłowo skonfigurowany plik robots.txt umożliwia indeksację witryny i jednocześnie blokuje indeksację tych stron witryny, które nie powinny znaleźć się w indeksie wyszukiwarki (strony serwisowe, strony wyszukiwania, strony sortowania i inne).