Robots

Robots Exclusion Protocol – mechanizm informowania automatów o tym, czego nie powinny robić na stronie WWW.
Dotyczy to przede wszystkim działających automatycznie programów indeksujących serwisy WWW dla wyszukiwarek, które podążając za hiperłączami indeksują całą zawartość danego serwisu do katalogu wyszukiwarki, ale również programów innego typu, np. automatycznych mirrorów.
Robots Exclusion Protocol jest systemem honorowym i jedynie informuje o odpowiednim zachowaniu, nie wymusza go zaś w żaden sposób. System ten jest generalnie przestrzegany, gdyż w niczyim interesie nie leży łamanie jego zasad.

Powody stosowania:
- Czasem pobranie jakiejś strony powoduje wywołanie jakiejś akcji, np. oddanie głosu w sondażu (ściśle interpretując standardy, wszystkie tego typu akcje powinny odbywać się za pomocą formularzy i metody POST, nie linków i GET, nie jest to jednak powszechnie przestrzegane).
- Niechęć autora do tego, żeby dana strona była indeksowana w wyszukiwarkach, gdyż nie wnosi ona żadnej nowej treści do ich bazy.
- Duże obciążenie serwera w związku z generacją strony oraz zwykłą niechęć do tego, żeby była ona w bazach wyszukiwarek. Niektóre strony internetowe z różnych przyczyn wolą pozostać poza wyszukiwarkami, lub pozwalają na indeksowanie tylko swojej strony głównej.

Przykłady:

Cała witryna będzie indeksowana przez roboty (tak jakby nie było pliku robots.txt):
User-agent: *
Disallow:

Cała witryna nie będzie indeksowana:

User-agent: *
Disallow: /

Indeksowane nie będą tylko foldery "images" i "private" w katalogu głównym strony:

User-agent: *
Disallow: /images/
Disallow: /private/

Indeksowany nie będzie tylko plik "file" w katalogu "directory":

User-agent: *
Disallow: /directory/file.html