(Par extension) Logiciel qui effectue des tâches automatiques ? voir bot.
C'est d'abord le protocole d'exclusion de robots qui permet à un éditeur de site d'indiquer qu'il ne souhaite pas que les robots des moteurs opèrent certaines actions sur leur serveur.
(Brigitte Simonnot, L'accès à l'information en ligne : moteurs, dispositifs et médiations, Paris : Lavoisier, 2012, p.67)
Lors de la découverte d'une nouvelle URL à indexer, les robots d'indexation vérifient avant toute autre chose si un fichier robots.txt est présent à la racine du site web. Le cas échéant, le robot explore le fichier et se conformera aux instructions renseignées par le webmaster.
(Fred Colantonio, Référencement, e-marketing et visibilité web: 30 pratiques pour décideurs et webmasters, Liège : Edi.Pro, 2015, 2e éd., p.36)
