🤖

Gerador Robots.txt

Crie um arquivo robots.txt para seu site. Controle quais mecanismos de busca podem rastrear suas páginas.

⚠️ Inserir URL (https://example.com)

Caminhos comuns a bloquear

Sitemaps

📄 robots.txt

💡 Envie este ficheiro para a raiz do seu site: https://yoursite.com/robots.txt

Sobre o robots.txt

  • • O robots.txt indica aos rastreadores dos motores de busca que partes do site podem pedir.
  • • O ficheiro só funciona na raiz do domínio: https://example.com/robots.txt.
  • • Disallow: / bloqueia o site inteiro; um Disallow: vazio permite tudo.
  • • Bloquear um URL aqui não o remove dos resultados de pesquisa — para isso use noindex ou uma palavra-passe.
  • • Rastreadores de IA como o GPTBot e o CCBot cumprem o robots.txt voluntariamente: o ficheiro é um pedido, não um cadeado.
  • • Uma linha Sitemap: tem de conter o URL absoluto completo do sitemap.

Gerador Robots.txt

Nosso gerador gratuito de Robots.txt ajuda você a criar um arquivo robots.txt corretamente formatado.

Incorporar esta ferramenta no seu site

× px

                        

💡 Dica de integração

Copie o código de incorporação e cole no HTML do seu site. A versão responsiva se adapta automaticamente a todos os tamanhos de tela.

1 avaliação
✓

Ferramentas populares

Não há mais ferramentas
Explorar todas as ferramentas

Sobre Gerador Robots.txt

O Gerador de Robots.txt monta o arquivo de diretivas para rastreadores regra por regra: escolha um User-agent, adicione caminhos em Allow e Disallow e defina um Crawl-delay ou uma ou mais URLs de Sitemap. As caixas de seleção cobrem os caminhos que os sites costumam bloquear, como /wp-admin/, /cart/ e /*.pdf$, e as predefinições dão conta de liberar tudo, bloquear tudo, WordPress, e-commerce e bloqueio de rastreadores de IA como GPTBot, CCBot e anthropic-ai. O arquivo é montado no seu navegador e pode ser copiado ou baixado como robots.txt.

Casos de uso

Desenvolvedores e analistas de QA que inspecionam, validam ou transformam dados com o Gerador de robots.txt.
Profissionais de DevOps que depuram arquivos de configuração, tokens ou respostas de API na hora.
Estudantes que aprendem desenvolvimento web, formatos de dados ou esquemas de codificação na prática com o Gerador de robots.txt.
Redatores técnicos que preparam exemplos de código, modelos de configuração e material de documentação.
Pesquisadores de segurança e caçadores de bug bounty que precisam de um ambiente de testes rápido, sem acesso à linha de comando.

Como usar

1

Comece por um modelo pronto, se algum servir para o seu site: Allow All, Block All, WordPress, Block AI Bots ou E-commerce, e depois edite o que ele gerou.

2

Preencha o campo Site URL com o seu domínio, por exemplo https://example.com, para que a linha do sitemap seja montada a partir dele.

3

Em cada regra, escolha um rastreador na lista User-Agent e use + Add Disallow e + Add Allow para informar caminhos como /admin/; adicione mais rastreadores com + Add User-Agent Rule.

4

Marque itens em Common Paths to Block e clique em Apply to Rule 1; defina o Crawl Delay em segundos se quiser deixar um rastreador mais lento.

5

Em Sitemaps, mantenha a opção Auto-add /sitemap.xml marcada ou use + Add Sitemap para listar outras URLs de sitemap.

6

Confira a prévia do robots.txt à direita, clique em Download ou Copy e envie o arquivo para a raiz do seu domínio.

Dicas Pro

  • Cole o conteúdo direto — o Gerador de robots.txt reconhece os padrões de entrada mais comuns e aplica configurações padrão adequadas automaticamente.
  • Use os atalhos de teclado (Ctrl/Cmd+A para selecionar tudo, Ctrl/Cmd+C para copiar) e agilize o seu trabalho dentro do Gerador de robots.txt.
  • Se a entrada for muito grande, divida em partes — a maioria das abas do navegador aguenta megabytes de texto, mas processar payloads enormes pode travar a interface por alguns instantes.
  • O Gerador de robots.txt não registra nem armazena o que você digita. Se precisar de histórico, copie os resultados importantes para um arquivo local ou um app de notas.
  • Combine o Gerador de robots.txt com as outras ferramentas do site (formatadores, conversores, codificadores) e monte fluxos de dados completos sem sair do navegador.

Perguntas frequentes

Sim, totalmente gratuito: sem cadastro, sem chave de API, sem marca d’água e sem limite de uso.

Não. O Gerador de robots.txt roda inteiramente no seu navegador, do lado do cliente. O que você digita nunca passa pelos nossos servidores.

Não existe um limite fixo, mas espere alguma lentidão com entradas acima de poucos megabytes, dependendo da memória do seu dispositivo.

Sim. Os resultados gerados com o Gerador de robots.txt são seus e podem ser usados livremente em qualquer projeto pessoal ou comercial.

Quase toda a lógica roda em JavaScript no próprio navegador, então, depois do carregamento inicial, na maioria das vezes você consegue continuar trabalhando sem conexão.

Nenhum. Como o Gerador de robots.txt roda no seu navegador, você pode processar quantas entradas o seu hardware aguentar, sem chaves de API e sem restrições.

FreeWebTools AI
Powered by free AI models · Full chat →