Gerador de Robots.txt

Gerador de regras robots.txt

Suporta várias linhas Allow / Disallow / Sitemap, monta automaticamente o formato padrão.

Configuração de regras
Resultado gerado

O gerador online de Robots.txt da GeekFormat permite configurar User-agent, regras Allow/Disallow, declarações Sitemap e diretivas Host através de formulários visuais, gerando em tempo real arquivos robots.txt em conformidade com o padrão Robots Exclusion Protocol. A página já abre com valores padrão de exemplo, modificar qualquer campo atualiza a visualização instantaneamente, e com um clique você copia para implantar no diretório raiz do site. Executa totalmente no navegador, sem enviar dados de configuração a nenhum servidor.

Sugestões Relacionadas

Verificador de robots.txt

Gerador de Sitemap

Verificador de Sitemap

Verificador de Security Headers

Verificador de Certificados SSL

Consulta WHOIS

Sobre Robots.txt e o Protocolo de Exclusão de Crawlers

robots.txt é uma das formas mais básicas de comunicação entre um site e os crawlers dos motores de busca, nome completo Robots Exclusion Protocol (Protocolo de Exclusão de Robôs, abreviado REP). É um arquivo de texto simples colocado no diretório raiz do site que, por meio de diretivas simples, informa aos crawlers de motores de busca conformes quais partes do site podem ser rastreadas e quais partes não devem ser rastreadas. O robots.txt foi proposto originalmente por Martijn Koster em 1994; após quase 30 anos de desenvolvimento, foi formalmente padronizado pelo IETF como RFC 9309 em 2022.

A estrutura básica do robots.txt consiste em um ou mais grupos de regras (Group). Cada grupo de regras começa com uma ou mais linhas User-agent, especificando os crawlers aos quais as regras se aplicam (* representa todos os crawlers); seguidas por várias linhas Allow e Disallow, especificando respectivamente os prefixos de caminho permitidos e proibidos para rastreamento; no final do arquivo podem ser adicionadas diretivas não pertencentes a grupos, como Sitemap e Host. Os grupos de regras são separados por linhas em branco. Um robots.txt típico contém: declaração User-agent → regras de caminho Allow/Disallow → (opcional) mais grupos User-agent → declaração Sitemap → diretiva Host.

O campo User-agent especifica o nome do crawler ao qual as regras se aplicam. Nomes comuns de crawlers de motores de busca incluem: Googlebot (pesquisa Google), Bingbot (pesquisa Bing), Baiduspider (pesquisa Baidu), YandexBot (pesquisa Yandex), DuckDuckBot (pesquisa DuckDuckGo), Twitterbot (captura de cards Twitter/X), facebookexternalhit (pré-visualização de links Facebook), GPTBot (crawler OpenAI GPT), Bytespider (pesquisa ByteDance/Toutiao), etc. Use User-agent: * como curinga para corresponder a todos os crawlers não correspondidos individualmente.

As diretivas Allow e Disallow usam o princípio de correspondência de prefixo (Prefix Matching): desde que o caminho da URL comece com o valor especificado, a regra corresponde. Por exemplo, Disallow: /admin bloqueará /admin, /admin/, /admin/login.html, /administrator e todos os caminhos que começam com /admin. Se quiser corresponder apenas ao diretório /admin/ precisamente, escreva Disallow: /admin/ (com barra final). De acordo com o padrão RFC 9309, quando Allow e Disallow correspondem simultaneamente, a regra com o caminho mais longo vence; com comprimentos iguais, Allow tem prioridade. Isso significa que quanto mais específica a regra, maior a prioridade.

A diretiva Sitemap é usada para informar aos motores de busca a localização do sitemap, ajudando os crawlers a descobrir e indexar as páginas do site com mais eficiência. As linhas Sitemap devem ser colocadas após todos os grupos de regras (ou no final do arquivo); as URLs devem ser endereços absolutos completos (incluindo http:// ou https://). Um robots.txt pode declarar múltiplos Sitemaps, cada um em linha independente. Sites grandes geralmente dividem múltiplos Sitemaps (classificados por tipo de conteúdo, frequência de atualização) e os gerenciam unificadamente por meio de um arquivo de índice Sitemap.

A diretiva Host é uma diretiva não padrão mas amplamente usada proposta pela Yandex, usada para especificar o domínio preferencial do site (espelho principal). Por exemplo, quando example.com e www.example.com existem simultaneamente, Host: example.com informa aos motores de busca que example.com é o preferencial. Importante notar: o Google declarou que não usa a diretiva Host, sendo necessário configurar o domínio preferencial via Google Search Console; o Bing também não a suporta explicitamente. A diretiva Host deve ser colocada após Sitemap e aparecer apenas uma vez.

Configurar corretamente o robots.txt é importante para SEO: primeiro, evita que crawlers desperdicem orçamento de rastreamento em páginas sem sentido (como páginas de resultados de pesquisa, páginas de filtro, páginas de conteúdo duplicado), permitindo que rastreiem conteúdo valioso com mais eficiência; segundo, evita que páginas privadas ou de baixo valor (como admin, páginas de teste, páginas de impressão) sejam indexadas; terceiro, orienta proativamente os crawlers a descobrir novas páginas por meio do Sitemap. Mas atenção: robots.txt é um acordo cavalheiresco e não substitui medidas reais de segurança; URLs com Disallow que recebem links externos ainda podem aparecer nos resultados de busca exibindo a URL (apenas não terão o conteúdo rastreado); proibir totalmente o rastreamento pode afetar a avaliação geral de peso do site.

Erros comuns no robots.txt incluem: ① caminho escrito incorretamente (como Disallow: admin sem barra inicial, devendo ser /admin); ② uso de expressões regulares (o REP padrão não suporta regex, apenas Googlebot suporta curingas limitados * e $); ③ proibir rastreamento de arquivos JS/CSS (impedirá o Google de renderizar páginas); ④ Disallow: / (proibir todo o site, erro fatal que causará não indexação completa); ⑤ problema de codificação do arquivo (deve ser codificação UTF-8); ⑥ colocado em subdiretório em vez do raiz; ⑦ permissões de arquivo impedindo acesso (deve retornar código de status 200 OK). Recomenda-se verificar após a geração usando a ferramenta de teste robots.txt do Google Search Console ou a ferramenta de inspeção robots.txt desta plataforma.

Casos de uso

  • Configurar um robots.txt básico antes do lançamento de um novo site, definindo claramente os caminhos permitidos e proibidos para rastreamento, orientando os motores de busca a rastrear corretamente
  • Atualizar regras Disallow após reformulação do site para evitar que diretórios antigos continuem sendo rastreados e afetem a distribuição de peso SEO
  • Adicionar múltiplos endereços Sitemap para ajudar os motores de busca a descobrir mais rapidamente a estrutura de páginas do site, melhorando a eficiência de indexação
  • Bloquear diretórios administrativos (/admin), ambientes de teste e diretórios privados para evitar indexação por crawlers, reduzindo riscos de segurança
  • Configurar a diretiva Host para especificar o domínio preferencial do site (com ou sem www), reduzindo problemas de conteúdo duplicado
  • Configurar regras de rastreamento independentes para diferentes crawlers de motores de busca (Googlebot, Bingbot, Baiduspider, etc.)
  • Proibir temporariamente o acesso de crawlers a diretórios em manutenção, liberando o rastreamento após conclusão das atualizações
  • Gerar arquivos robots.txt em formato padronizado, evitando falhas de análise dos motores de busca por erros de formatação manual
  • Configurar múltiplos Sitemaps (como sitemap de artigos, sitemap de produtos, sitemap de imagens) para cobrir todos os tipos de conteúdo do site
  • Demonstrar configuração de regras robots.txt no desenvolvimento frontend, ensinando o formato padrão do protocolo de crawlers
  • Usar em conjunto com a ferramenta de inspeção robots.txt para verificar se as regras geradas atendem às expectativas, evitando bloquear páginas importantes por engano
  • Criar rapidamente um modelo robots.txt, baixar e ajustar conforme a situação real do site antes de implantar

Como Usar

  1. No campo de entrada User-agent, especifique o crawler alvo (o padrão * representa todos os crawlers de motores de busca)
  2. Na área Allow, preencha os caminhos permitidos para rastreamento, uma regra por linha (como /, /blog/)
  3. Na área Disallow, preencha os caminhos proibidos para rastreamento, uma regra por linha (como /admin, /private)
  4. Na área Sitemap, adicione endereços de sitemap XML (suporta múltiplas linhas); na área Host, preencha o domínio preferencial
  5. A área de visualização à direita exibe em tempo real o conteúdo robots.txt gerado; após confirmar, clique no botão copiar para implantar

Recursos

  • Configuração independente de múltiplas regras: User-agent, Allow, Disallow, Sitemap e Host possuem áreas de entrada separadas, com regras classificadas claramente sem confusão
  • Geração com visualização em tempo real: o conteúdo do robots.txt é atualizado instantaneamente após modificar qualquer regra, sem necessidade de clicar manualmente no botão gerar, o que você vê é o que obtém
  • Regra padrão de fallback: quando Allow e Disallow estiverem vazios, Allow: / é gerado automaticamente, evitando arquivos em branco que causam comportamento incerto do crawler
  • Suporte a múltiplos Sitemaps: a área Sitemap suporta entrada de múltiplas linhas, cada URL gera uma linha independente de declaração Sitemap, ideal para sites com múltiplos Sitemaps
  • Cópia e implantação com um clique: o resultado gerado suporta cópia para a área de transferência com um clique, pronto para colar diretamente no diretório raiz do site
  • Exemplo padrão pré-preenchido: a página já abre com configuração de exemplo padrão (User-agent: *, Allow: /, Disallow: /admin /private, Sitemap, Host), iniciantes podem consultar e modificar diretamente
  • Saída em formato padrão: segue rigorosamente a especificação Robots Exclusion Protocol, com linha User-agent primeiro, linhas de regra depois, Sitemap/Host no final, compatível com todos os motores de busca
  • Processamento inteligente de caminhos: remove automaticamente espaços no início/fim de cada linha, filtra linhas vazias, evitando falha de regras por espaços extras
  • Layout responsivo em colunas: no PC há divisão esquerda-direita (configuração/visualização), no mobile disposição superior-inferior, funciona bem em desktop e celular
  • Visualização em fonte monoespaçada: a área de visualização usa fonte monoespaçada para exibir o resultado, mantendo o formato robots.txt organizado e claro
  • Suporte à diretiva Host: permite configurar o domínio preferencial do Host (suportado por motores de busca como Yandex), reduzindo problemas de conteúdo duplicado de domínio
  • Execução totalmente local no navegador: todas as operações de configuração e geração são feitas em JavaScript local no navegador, sem enviar dados a servidores
  • Uso imediato sem dependências: basta abrir a página para usar, sem necessidade de cadastro ou login, sem instalar nenhum software
  • Integração com ferramenta de inspeção: links relacionados direcionam para a ferramenta de inspeção robots.txt, permitindo verificar imediatamente se as regras estão corretas após a geração

Perguntas frequentes

Para que serve o robots.txt? Por que um site deve ter esse arquivo?

robots.txt é um arquivo de texto simples colocado no diretório raiz do site, usado para informar aos crawlers dos motores de busca (como Googlebot, Bingbot, Baiduspider, etc.) quais caminhos podem ser rastreados e quais são proibidos. É a implementação do Robots Exclusion Protocol (Protocolo de Exclusão de Robôs), sendo o arquivo central para gerenciamento de rastreamento do site e configurações básicas de SEO. Embora não seja obrigatório, quase todos os sites regulares configuram robots.txt para orientar o comportamento dos crawlers.

Onde o arquivo robots.txt deve ser colocado?

robots.txt deve ser colocado no diretório raiz do site e acessível diretamente em http://seu-dominio/robots.txt. Por exemplo, https://example.com/robots.txt. Atenção: não coloque em subdiretórios (como /blog/robots.txt é inválido), crawlers procuram esse arquivo apenas no diretório raiz. O nome do arquivo deve ser totalmente em minúsculas: robots.txt, não Robots.txt ou ROBOTS.TXT.

O que é gerado quando Allow e Disallow estão vazios?

Quando Allow e Disallow não forem preenchidos, o gerador gera automaticamente Allow: / como regra de fallback, indicando que todo o site pode ser rastreado. Isso evita gerar arquivos em branco ou robots.txt incompletos apenas com linha User-agent, prevenindo comportamento incerto do crawler por regras pouco claras.

Posso configurar múltiplos endereços Sitemap?

Sim. A área Sitemap suporta entrada de múltiplas linhas; cada URL gera uma linha independente de declaração Sitemap. Por exemplo, sites grandes costumam ter múltiplos arquivos sitemap (sitemap de artigos, sitemap de produtos, sitemap de imagens, etc.), você pode preencher uma URL Sitemap completa por linha (deve ser um caminho absoluto completo, incluindo http:// ou https://).

Qual é a função da diretiva Host? Todos os motores de busca a suportam?

A diretiva Host é usada para especificar o domínio preferencial do site (como example.com ou www.example.com), ajudando os motores de busca a identificar o domínio principal e reduzir problemas de conteúdo duplicado entre versões www e não-www. Atualmente a diretiva Host é suportada principalmente por motores de busca como Yandex; o Google não a usa diretamente, preferindo configurar o domínio preferencial via Google Search Console. Recomenda-se configurá-la mas não depender totalmente dela.

O que significa User-agent: *? Como configurar regras para crawlers específicos?

User-agent: * significa que as regras se aplicam a todos os crawlers (o asterisco é um curinga). Se precisar configurar regras independentes para um motor de busca específico, defina User-agent com o nome específico do crawler, como Googlebot (Google), Bingbot (Bing), Baiduspider (Baidu), Twitterbot (Twitter/X), etc. Você pode configurar múltiplos grupos User-agent separados por linhas em branco.

O robots.txt realmente protege diretórios sensíveis contra acesso?

Não. O robots.txt é apenas um acordo cavalheiresco; crawlers de motores de busca conformes respeitam as regras, mas crawlers maliciosos e scanners de hackers podem ignorá-lo completamente. Não dependa do robots.txt para proteger conteúdo realmente sensível (como senhas de admin, dados de privacidade do usuário); diretórios sensíveis devem usar autenticação no servidor (proteção por senha, lista branca de IPs) e outras medidas de segurança reais. A função do robots.txt é orientar crawlers conformes, não proteção de segurança.

Quais são as regras de correspondência de caminho para Disallow?

A regra Disallow usa correspondência de prefixo: Disallow: /admin corresponderá a /admin, /admin/, /admin/login.html, /administrator e todos os caminhos que começam com /admin. Se quiser corresponder apenas ao conteúdo do diretório /admin/, escreva Disallow: /admin/ (com barra final). Disallow: (valor vazio) significa não proibir nenhum caminho (ou seja, tudo permitido). Atenção: as regras diferenciam maiúsculas de minúsculas.

Como implantar o robots.txt gerado no site?

Clique no botão copiar para copiar o conteúdo gerado para a área de transferência; no servidor, crie um arquivo de texto simples chamado robots.txt, cole o conteúdo e envie o arquivo para o diretório raiz do site (geralmente web root, public_html, www ou diretório dist). Após implantar, acesse https://seu-dominio/robots.txt para verificar se está funcionando; você também pode usar a ferramenta de teste robots.txt do Google Search Console para validar as regras.

Quanto tempo leva para as alterações no robots.txt entrarem em vigor?

Na próxima vez que o crawler do motor de busca visitar seu site, ele rastreará novamente o arquivo robots.txt; geralmente entra em vigor em algumas horas a alguns dias. Se quiser que os motores de busca descubram a atualização o mais rápido possível, envie uma solicitação de atualização robots.txt no Google Search Console ou Bing Webmaster Tools. Atenção: páginas já indexadas podem permanecer nos resultados por um tempo mesmo após Disallow; a remoção completa requer uso da tag noindex ou ferramenta de remoção de URL.

Quando Allow e Disallow entram em conflito, qual tem prioridade?

De acordo com RFC 9309 (padrão formal do Robots Exclusion Protocol), quando os caminhos das regras Allow e Disallow têm o mesmo comprimento, Allow tem prioridade sobre Disallow; quando os comprimentos diferem, a regra com o caminho mais longo correspondente tem prioridade. Por exemplo, no conflito entre Allow: /blog e Disallow: /blog/, acessar /blog/post.html corresponderá a Disallow (caminho mais longo /blog/ > /blog), enquanto acessar /blog em si corresponderá a Allow. Simplificando: quanto mais específica a regra, maior a prioridade.

Posso adicionar comentários no robots.txt?

Sim, linhas começando com # são linhas de comentário; crawlers ignoram o conteúdo após #. Comentários podem ser escritos em linha separada ou no final de linhas de regra (conteúdo após #). Por exemplo: # Block admin area ou Disallow: /admin # admin panel. Adicionar comentários apropriados ajuda você e membros da equipe a entender a função de cada regra.

URLs Sitemap precisam ser caminhos absolutos?

Sim, a diretiva Sitemap deve usar URL absoluta completa (incluindo protocolo e domínio), como Sitemap: https://example.com/sitemap.xml. Não use caminhos relativos (como /sitemap.xml), pois crawlers podem acessar seu site a partir de diferentes domínios (como example.com e www.example.com), e caminhos relativos impediriam os crawlers de determinar o endereço correto.

Os dados de configuração são enviados ao servidor?

De forma alguma. Todas as configurações e operações de geração do robots.txt são feitas localmente no seu navegador via JavaScript; os caminhos, domínios e outros dados de configuração inseridos não são enviados a nenhum servidor externo. A página pode ser usada offline (funções básicas) após carregamento; ao fechar a página, os dados são limpos automaticamente sem deixar registros.

O robots.txt gerado pode ser usado em qualquer site?

Sim, o gerador produz um arquivo de texto simples no formato padrão Robots Exclusion Protocol, adequado para qualquer servidor Web (Nginx, Apache, IIS, Caddy, etc.) e qualquer plataforma de criação de sites (WordPress, Shopify, Next.js, Django, Rails, etc.). Basta implantar no diretório raiz do site e garantir acesso público.

Solução de Problemas

O acesso ao arquivo gerado retorna erro 404?

Verifique se o arquivo robots.txt foi enviado para o diretório raiz do site (não subdiretório), o nome do arquivo está em minúsculas como robots.txt, e as permissões de arquivo estão definidas como leitura pública (geralmente permissão 644 é suficiente). Após envio, acesse diretamente https://seu-dominio/robots.txt no navegador para confirmar que o conteúdo é visível. A localização do diretório raiz varia por servidor: Nginx/Apache geralmente é /var/www/html/ ou /usr/share/nginx/html/, Vercel/Netlify geralmente é o diretório public/.

Regras Disallow não funcionam, páginas ainda são indexadas?

Possíveis causas: ① o crawler ainda não rastreou o robots.txt novamente (aguarde alguns dias ou envie atualização no Search Console); ② correspondência de prefixo de caminho incorreta (como Disallow: admin sem /, devendo ser Disallow: /admin/); ③ a página já foi indexada antes de adicionar Disallow (páginas já indexadas não são removidas automaticamente); ④ crawlers maliciosos não respeitam robots.txt; ⑤ existe regra Allow em conflito cobrindo Disallow (Allow tem prioridade quando o caminho é mais longo). Para remoção completa do índice, use a tag noindex.

Google Search Console reporta que robots.txt está bloqueando páginas?

Isso geralmente significa que páginas importantes foram bloqueadas por Disallow acidentalmente. Verifique se há regras Disallow muito abrangentes no robots.txt (como Disallow: / ou Disallow: /*?); confirme que arquivos CSS/JS não estão proibidos (o Google precisa rastrear esses arquivos para renderizar páginas). Use a ferramenta de teste robots.txt do Search Console para inserir URLs específicas e testar qual regra está bloqueando.

Configurei acidentalmente Disallow: / e todo o site foi proibido de rastreamento?

Remova ou modifique imediatamente essa regra, altere robots.txt para Allow: / ou exclua a linha Disallow: /, envie o arquivo atualizado para o servidor. Em seguida, envie uma solicitação de atualização robots.txt no Google Search Console e envie o sitemap para acelerar o novo rastreamento. Páginas já removidas do índice podem levar de dias a semanas para serem reindexadas.

Glossário

robots.txt
Arquivo de texto simples colocado no diretório raiz do site, seguindo o Robots Exclusion Protocol, usado para informar aos crawlers de motores de busca conformes quais caminhos são permitidos/proibidos para rastreamento.
Robots Exclusion Protocol (REP)
Protocolo de Exclusão de Crawlers, proposto em 1994 e padronizado como RFC 9309 em 2022, é o padrão de fato para comunicação de regras de rastreamento entre sites e crawlers.
User-agent
Campo inicial de um grupo de regras, especifica o nome do crawler ao qual as regras Allow/Disallow subsequentes se aplicam; o curinga * corresponde a todos os crawlers.
Disallow
Diretiva de proibição de rastreamento, especifica prefixos de caminho que não devem ser acessados por crawlers. Por exemplo, Disallow: /admin proíbe o rastreamento de todos os caminhos que começam com /admin.
Allow
Diretiva de permissão de rastreamento, especifica caminhos explicitamente permitidos para crawlers. Usada para liberar subcaminhos específicos sob um caminho pai Disallow.
Sitemap
Diretiva de declaração de mapa do site, informa aos motores de busca a URL completa do sitemap XML do site, ajudando crawlers a descobrir e indexar eficientemente todas as páginas.
Host
Diretiva de domínio preferencial, especifica o domínio principal do site (como example.com vs www.example.com); suportado por Yandex, o Google configura via Search Console.
Crawler/Bot/Spider
Rastreador/robô/aranha, programa automatizado dos motores de busca que acessa páginas web e coleta conteúdo, como Googlebot, Bingbot, Baiduspider, etc.
Googlebot
Crawler web do motor de busca Google, responsável por capturar conteúdo de páginas para indexação e classificação do Google, é um dos crawlers mais comuns.
Crawl Budget
Orçamento/cota de rastreamento, limite de frequência de rastreamento e quantidade de páginas que os motores de busca alocam para cada site. Configurar robots.txt adequadamente evita desperdiçar a cota de rastreamento.
Prefix Matching
Regra de correspondência de prefixo, método de correspondência de caminho do robots.txt. O caminho da URL que começa com o valor da regra corresponde com sucesso; quanto mais longa a regra, maior a prioridade.
noindex
Tag meta HTML ou diretiva de cabeçalho HTTP (X-Robots-Tag: noindex), informa aos motores de busca para não indexar a página nos resultados de busca. Diferente do Disallow do robots.txt, noindex é uma forma mais confiável de remoção de índice.

Nomes User-agent de Crawlers de Motores de Busca Comuns

Nomes User-agent usados ao configurar regras para crawlers específicos:

Nome do CrawlerMotor de BuscaFinalidade
*Todos os crawlersCuringa, corresponde a todos os crawlers não configurados individualmente
GooglebotGoogleCrawler de páginas web da Pesquisa Google
BingbotBing/MicrosoftCrawler de páginas web da Pesquisa Bing
BaiduspiderBaiduCrawler de páginas web da Pesquisa Baidu
YandexBotYandexCrawler de páginas web da Pesquisa Yandex
GPTBotOpenAICrawler de coleta de dados de treinamento do ChatGPT
TwitterbotX/TwitterCrawler de pré-visualização de cards de links da plataforma X
facebookexternalhitFacebookCrawler de pré-visualização de links do Facebook

Exemplos de Regras robots.txt Comuns

Configurações de regras comuns para diferentes cenários de sites:

RegraEfeito
Disallow: /admin/Proíbe rastreamento de todo o conteúdo no diretório /admin/
Disallow: /*?Proíbe rastreamento de URLs com parâmetros de consulta (Googlebot suporta curinga *)
Disallow: /searchProíbe rastreamento de páginas de resultados de pesquisa interna
Allow: /public/Permite explicitamente o rastreamento do diretório /public/
Disallow: /⚠️ Proíbe rastreamento de todo o site (erro fatal, use com cautela!)
Allow: /Permite rastreamento de todo o conteúdo do site

Tabela de Referência Rápida de Diretivas Padrão robots.txt

Diretivas padrão e usos definidos pela RFC 9309:

DiretivaEscopoExemplo de FormatoDescrição
User-agentInício de grupoUser-agent: *Especifica o nome do crawler ao qual as regras se aplicam
DisallowDentro de grupoDisallow: /adminPrefixo de caminho proibido para rastreamento
AllowDentro de grupoAllow: /publicPrefixo de caminho permitido para rastreamento
SitemapNão pertencente a grupoSitemap: https://example.com/sitemap.xmlDeclara a localização do sitemap (URL absoluta)
#Qualquer posição# This is a commentLinha de comentário, ignorada por crawlers

Privacy & Security

Todas as operações deste Gerador de Robots.txt são executadas inteiramente localmente no seu navegador: entradas de configuração como User-agent, regras de caminho, Sitemap e Host são todas montadas em tempo real via JavaScript na memória do navegador para gerar o texto robots.txt, sem serem enviadas pela rede para qualquer servidor. A página está pronta para usar após o carregamento, não usa rastreamento por Cookie e não coleta quaisquer dados de usuário. Após fechar ou atualizar a página, todo o conteúdo de configuração é automaticamente limpo, sem armazenamento persistente no navegador.

Authoritative References