Saltar ao contido

Robots.txt

Na Galipedia, a Wikipedia en galego.

O estándar de exclusión de robots (tamén chamado protocolo de exclusión de robots ou protocolo robots.txt ) é unha forma de indicar aos exploradores web e a outros robots web que partes dun sitio web poden ver.

Para darlle aos robots instrucións sobre a que páxinas dun sitio web poden acceder, os propietarios do sitio colocan un ficheiro de texto chamado robots.txt no directorio principal do seu sitio web, por exemplo http://www.example.com/robots.txt Arquivado 03 de outubro de 2013 en Wayback Machine..[1] Este ficheiro de texto indica aos robots a que partes do sitio poden acceder ou non. Non obstante, os robots poden ignorar os ficheiros robots.txt, especialmente os robots maliciosos.[2] Se o ficheiro robots.txt non existe, os robots web asumen que poden ver todas as partes do sitio.

Exemplos de ficheiros robots.txt

[editar | editar a fonte]
  1. "Robot Exclusion Standard". www.helpforwebbeginners.com. Arquivado dende o orixinal o 08 de decembro de 2011. Consultado o 2023-06-20. 
  2. "The Web Robots Pages". www.robotstxt.org. Consultado o 2023-06-20. 

Este artigo tan só é un bosquexo
 Este artigo é, polo de agora, só un bosquexo. Traballa nel para axudar a contribuír a que a Galipedia mellore e medre.