Comment s'écrit un robots.txt
Le robots.txt est un fichier texte en UTF-8, placé à la racine du site (/robots.txt, en minuscules). Il est fait de groupes : une ou plusieurs lignes User-agent qui nomment des robots, puis les règles qui les concernent. Le protocole est décrit par la RFC 9309 de l'IETF.
User-agent: *Disallow: /admin/Allow: /admin/aide.htmlSitemap: https://www.exemple.fr/sitemap.xml- Le nom du champ s'écrit sans tenir compte de la casse ; le chemin, lui, y est sensible.
- Un chemin commence par
/. Tout ce qui suit un#est un commentaire. - Un robot suit le groupe qui porte son nom ; s'il n'en a pas, celui de
*; s'il n'y a ni l'un ni l'autre, tout lui est permis. - Google ne lit que les 500 premiers Kio du fichier et ignore les lignes invalides.
L'outil signale ces erreurs ligne par ligne : ligne sans « : », règle placée avant tout User-agent, chemin qui ne commence pas par /, sitemap sans adresse complète, champ inconnu.
Quelle règle l'emporte
Quand plusieurs règles d'un groupe correspondent à une adresse, ce n'est pas la première qui compte mais la plus précise : celle dont le motif est le plus long. À longueur égale, Allow l'emporte. L'ordre des lignes n'a donc aucune importance.
| Signe | Sens | Exemple |
|---|---|---|
| * | N'importe quelle suite | |
| $ | Fin de l'adresse | /*.pdf$ |
Le test de l'outil applique ces règles telles que la RFC 9309 les décrit : nom de robot exact (sans tenir compte de la casse), groupes du même robot réunis, motif le plus long en octets. Il compare les chemins tels qu'ils sont écrits, sans décoder les caractères encodés en pourcentage.
Trois exemples
Avec Disallow: /admin/ et Allow: /admin/aide.html, l'adresse /admin/aide.html est autorisée (la règle Allow est la plus longue), /admin/connexion est bloquée.
Disallow: /*.pdf$ bloque /docs/guide.pdf, mais pas /docs/guide.pdf?v=2 : le $ exige que l'adresse se termine par « .pdf ».
Avec Allow: /page et Disallow: /page, l'adresse /page est autorisée : à égalité, Allow l'emporte.
Sitemap et Crawl-delay
La ligne Sitemap indique l'adresse complète du plan du site, protocole et domaine compris ; selon Google, le plan peut se trouver sur un autre domaine. Elle ne fait pas partie des règles d'un robot : la RFC 9309 précise qu'une telle ligne ne ferme pas le groupe en cours. L'outil l'ajoute en fin de fichier.
Crawl-delay demande au robot d'espacer ses visites. Il ne fait pas partie de la RFC 9309, et Google indique ne pas le prendre en charge : pour Googlebot, la ligne est ignorée. Bing indiquait en 2012 que son robot le respecte, en le lisant comme une fenêtre de 1 à 30 secondes pendant laquelle il explore au plus une page. Pour tout autre robot, vérifiez sa documentation. L'outil n'ajoute un Crawl-delay qu'à un groupe qui existe déjà.
Ce n'est pas une protection
La RFC 9309 le dit en toutes lettres : ces règles ne sont pas une forme d'autorisation d'accès. Un robot malveillant les ignore, et le fichier est public : y lister /admin-secret/ revient à en donner l'adresse. Pour protéger un espace, il faut un mot de passe ou un contrôle d'accès sur le serveur.
Bloquer une page n'empêche pas non plus qu'elle apparaisse dans Google : son adresse peut être indexée sans son contenu. Pour l'exclure des résultats, Google demande une balise noindex, et précise que la page ne doit pas être bloquée par le robots.txt, sans quoi le robot ne voit jamais la balise.
Le piège du groupe propre
Un robot qui a son propre groupe ne lit plus celui de *. Dans ce fichier, Googlebot peut explorer /admin/ :
User-agent: *Disallow: /admin/User-agent: GooglebotDisallow: /brouillons/Il ne suit que son groupe, qui ne bloque que /brouillons/. Pour qu'il respecte aussi /admin/, recopiez la règle dans son groupe. L'outil prévient quand l'ajout d'une règle crée un tel groupe.
Questions fréquentes
Où placer le fichier robots.txt ?
À la racine du site, sous le nom robots.txt en minuscules : https://www.exemple.fr/robots.txt. Un fichier placé dans un sous-dossier n'est pas lu, et chaque combinaison de protocole, de sous-domaine et de port a le sien.
Un Disallow empêche-t-il une page d'apparaître dans Google ?
Non. Google indique qu'il ne peut pas indexer le contenu d'une page bloquée, mais qu'il peut quand même indexer son adresse, par exemple si d'autres sites y font un lien. Pour retirer une page des résultats, il faut la laisser explorable et lui ajouter une balise noindex.
Google respecte-t-il le Crawl-delay ?
Non : sa documentation indique que seuls User-agent, Allow, Disallow et Sitemap sont pris en charge, et que Crawl-delay ne l'est pas. D'autres robots peuvent le lire ; Bing l'a indiqué pour le sien.
Les chemins sont-ils sensibles à la casse ?
Oui. « Disallow: /Admin/ » ne bloque pas /admin/. Le nom du robot, lui, se compare sans tenir compte de la casse : Googlebot et googlebot désignent le même groupe.
Combien de temps faut-il pour qu'une modification soit prise en compte ?
Google indique garder en cache le contenu du robots.txt jusqu'à 24 heures en général, plus longtemps s'il ne parvient pas à le relire. Une modification peut donc mettre une journée à s'appliquer.
Une erreur ? Signalez-la, nous la corrigeons.