Gerador Robots.txt

As melhores ferramentas grátis para melhorar o seu SEO!

Gerador Robots.txt


Padrão - todos os robôs são:  
    
Atraso de rastreamento:
    
Mapa do site/Sitemap: (deixe em branco se você não tiver) 
     
Robôs de busca: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Diretórios Restritos: O caminho é relativo à raiz e deve conter uma barra final "/"
 
 
 
 
 
 
   



Agora, crie o arquivo 'robots.txt' em seu diretório raiz. Copie o texto acima e cole no arquivo de texto.


Sobre Gerador Robots.txt

O que é o gerador Robots.txt?


Agora, crie o arquivo 'robots.txt' em seu diretório raiz. Copie o texto anterior e cole-o no arquivo de texto.

O gerador Robots.txt gera um arquivo bem oposto ao mapa do site que indica as páginas que serão incluídas; portanto, a sintaxe do robots.txt é de grande importância para qualquer site. Quando um mecanismo de pesquisa rastreia um site, ele primeiro procura o arquivo robots.txt que está no nível raiz do domínio. Quando identificado, o rastreador lerá o arquivo e, em seguida, identificará os arquivos e diretórios que podem estar bloqueados.

Por que você deve usar nossa ferramenta Gerador de Robots.txt?


É uma ferramenta muito útil que facilitou a vida de muitos webmasters, ajudando-os a tornar seus sites compatíveis com o Googlebot. É uma ferramenta de geração de arquivo robots.txt que pode gerar o arquivo necessário, realizando a difícil tarefa a qualquer momento e gratuitamente. Nossa ferramenta vem com uma interface fácil de usar que oferece opções para incluir ou excluir itens no arquivo robots.txt.

Como usar nossa ferramenta de geração de Robots.txt?


Usando nossa ferramenta incrível, você pode gerar um arquivo robots.txt para o seu site seguindo estas etapas simples e simples:

Por padrão, todos os robôs têm permissão para acessar os arquivos em seu site, você pode escolher os robôs que deseja permitir ou negar acesso.

Escolha o atraso de rastreamento, que indica a quantidade de atraso que deve haver nos rastreamentos, permitindo que você escolha entre sua duração de atraso preferida de 5 a 120 segundos. Ele é definido como 'sem atraso' por padrão.

Se já existir um mapa do site para o seu site, você pode colá-lo na caixa de texto. Por outro lado, você pode deixar em branco, se não tiver.

A lista de robôs de busca é fornecida, você pode selecionar aqueles que deseja rastrear em seu site e pode rejeitar os robôs que não deseja rastrear seus arquivos.

A última etapa é restringir os diretórios. O caminho deve conter uma barra "/", pois o caminho é relativo à raiz.

Ao usar o gerador de arquivo robots.txt, para ver uma comparação lado a lado sobre como seu site lida atualmente com os robôs de pesquisa e como o novo robots.txt proposto funcionará, digite ou cole o URL do domínio do seu site ou uma página em site na caixa de texto e clique em "Criar Robots.txt".