Robots.txt

Un fichier robots.txt est un fichier généralement placé à la racine d'un site web (par exemple, https://www.example.com/robots.txt). Il définit si les robots d'indexation sont autorisés à accéder à l'ensemble d'un site web ou à certaines ressources spécifiques. Un fichier robots.txt restrictif peut éviter la consommation de bande passante par les robots d'indexation.

Le·la propriétaire d'un site peut interdire aux robots d'indexation de détecter un certain chemin (et tous les fichiers de ce chemin) ou un fichier spécifique. Ceci est souvent fait pour empêcher ces ressources d'être indexées ou servies par les moteurs de recherche.

Si un robot d'indexation est autorisé à accéder à des ressources, vous pouvez définir des règles d'indexation pour ces ressources via des éléments <meta name="robots"> (souvent appelés « balise robots ») et des en-têtes HTTP X-Robots-Tag. Les robots d'indexation liés à la recherche utilisent ces règles pour déterminer comment indexer et servir les ressources dans les résultats de recherche, ou pour ajuster la fréquence d'exploration de certaines ressources au fil du temps.