Gerador robots.txt
O que é?
Robot (ou robô) é um programa de computador que percorre automaticamente as páginas da Internet em busca de documentos, a fim de indexá-los, validá-los ou monitorar alterações de conteúdo.
Para controlo destas actividades de robots, opcionalmente, o webmaster pode criar um arquivo chamado
robots.txt e coloca-lo no directório raiz da sua
conta de alojamento.
Robots.txt é um arquivo no formato texto (.txt) que funciona como "filtro" para os Crawlers e robots dos motores de busca da Internet, permitindo ou bloqueando o acesso a partes ou à totalidade de um determinado site.
Como criar o meu robots.txt?
Escolha a opção pretendida nas caixas abaixo e então clique no botão "Criar Robots.txt".
Se clicar sem mudar nada, a ferramenta valida o seu site para todas as ferramentas de busca.
