Le robots.txt est un fichier qui se trouve à la racine de votre site et qui contient des instructions destinées aux robots qui explorent le web. Le fichier robots.txt permet par exemple de demander au robot de Google de ne pas explorer certaines pages ou certains dossier, ou encore d'interdire l'accès à vos pages par des robots aspirateurs de sites (ces robots aspirent le contenu de votre site, ce qui génère généralement une consommation accrue des ressources de votre serveur).

Si vous avez un site sur Wifeo, le fichier robots.txt est géré automatiquement, vous n'avez pas à vous en préoccuper. Il conteint un certain nombre d'interdictions d'accès destinées à des robots considérés comme malveillants ou étant des aspirateurs de contenu.