Agora, crie o arquivo 'robots.txt' em seu diretório raiz. Copie o texto anterior e cole-o no arquivo de texto.
O gerador Robots.txt gera um arquivo ao lado do mapa do site que indica as páginas que serão incluídas; portanto, a sintaxe robots.txt é de grande importância para qualquer site. Quando um mecanismo de pesquisa rastreia um site, ele primeiro procura o arquivo robots.txt que está no nível raiz do domínio. Quando identificado, o rastreador lerá o arquivo e identificará os arquivos e diretórios que podem estar bloqueados.
É uma ferramenta muito útil que facilitou a vida de muitos webmasters, ajudando-os a tornar seus sites compatíveis com o Googlebot. É uma ferramenta de geração de arquivos robots.txt que pode gerar o arquivo necessário, realizando a difícil tarefa a qualquer momento e de forma gratuita. Nossa ferramenta vem com uma interface fácil de usar que oferece opções para incluir ou excluir itens no arquivo robots.txt.
Usando nossa ferramenta incrível, você pode gerar um arquivo robots.txt para seu site seguindo estas etapas simples e simples:
Por padrão, todos os robôs têm permissão para acessar arquivos em seu site, você pode escolher quais robôs deseja permitir ou negar acesso.
Escolha o atraso do rastreamento, que indica quanto atraso deve haver nos rastreamentos, permitindo que você escolha entre sua duração de atraso preferida de 5 a 120 segundos. Ele é definido como 'sem atraso' por padrão.
Se já existir um mapa do site para o seu site, você pode colá-lo na caixa de texto. Por outro lado, você pode deixá-lo em branco se não o tiver.
A lista de bots de pesquisa é fornecida, você pode selecionar aqueles que deseja rastrear em seu site e pode rejeitar bots que não deseja rastrear seus arquivos.
A última etapa é restringir os diretórios. O caminho deve conter uma barra "/", pois o caminho é relativo à raiz.
Ao usar o gerador de arquivos robots.txt, para ver uma comparação lado a lado de como seu site lida atualmente com robôs de pesquisa e como o novo robots.txt proposto funcionará, digite ou cole o URL de domínio de seu site ou uma página em site em a caixa de texto e clique em "Criar Robots.txt".
