Gerador Robots.txt

As melhores ferramentas grátis para melhorar o seu SEO!

Gerador Robots.txt


Padrão - todos os robôs são:  
    
Atraso de rastreamento:
    
Mapa do site/Sitemap: (deixe em branco se você não tiver) 
     
Robôs de busca: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Diretórios Restritos: O caminho é relativo à raiz e deve conter uma barra final "/"
 
 
 
 
 
 
   



Agora, crie o arquivo 'robots.txt' em seu diretório raiz. Copie o texto acima e cole no arquivo de texto.


Sobre Gerador Robots.txt

O que é o gerador Robots.txt?


Agora, crie o arquivo 'robots.txt' em seu diretório raiz. Copie o texto anterior e cole-o no arquivo de texto.

O gerador Robots.txt gera um arquivo ao lado do mapa do site que indica as páginas que serão incluídas; portanto, a sintaxe robots.txt é de grande importância para qualquer site. Quando um mecanismo de pesquisa rastreia um site, ele primeiro procura o arquivo robots.txt que está no nível raiz do domínio. Quando identificado, o rastreador lerá o arquivo e identificará os arquivos e diretórios que podem estar bloqueados.

Por que você deve usar nossa ferramenta Robots.txt Generator?


É uma ferramenta muito útil que facilitou a vida de muitos webmasters, ajudando-os a tornar seus sites compatíveis com o Googlebot. É uma ferramenta de geração de arquivos robots.txt que pode gerar o arquivo necessário, realizando a difícil tarefa a qualquer momento e de forma gratuita. Nossa ferramenta vem com uma interface fácil de usar que oferece opções para incluir ou excluir itens no arquivo robots.txt.

Como usar nossa ferramenta de geração Robots.txt?


Usando nossa ferramenta incrível, você pode gerar um arquivo robots.txt para seu site seguindo estas etapas simples e simples:

Por padrão, todos os robôs têm permissão para acessar arquivos em seu site, você pode escolher quais robôs deseja permitir ou negar acesso.

Escolha o atraso do rastreamento, que indica quanto atraso deve haver nos rastreamentos, permitindo que você escolha entre sua duração de atraso preferida de 5 a 120 segundos. Ele é definido como 'sem atraso' por padrão.

Se já existir um mapa do site para o seu site, você pode colá-lo na caixa de texto. Por outro lado, você pode deixá-lo em branco se não o tiver.

A lista de bots de pesquisa é fornecida, você pode selecionar aqueles que deseja rastrear em seu site e pode rejeitar bots que não deseja rastrear seus arquivos.

A última etapa é restringir os diretórios. O caminho deve conter uma barra "/", pois o caminho é relativo à raiz.

Ao usar o gerador de arquivos robots.txt, para ver uma comparação lado a lado de como seu site lida atualmente com robôs de pesquisa e como o novo robots.txt proposto funcionará, digite ou cole o URL de domínio de seu site ou uma página em site em a caixa de texto e clique em "Criar Robots.txt".