O Que é robots.txt (2026): Guia Completo com Exemplos Prontos por CMS

O robots.txt é um arquivo de texto simples que vive na raiz do seu domínio e diz aos buscadores quais áreas do site eles podem ou não rastrear. Apesar de ser um dos arquivos mais antigos da web (o padrão é de 1994), continua sendo peça central de SEO técnico em 2026 — com camadas novas para lidar com crawlers de IA que surgiram nos últimos anos.

O arquivo é simples. Os erros são caros. Um Disallow: / desatento desindexa um site inteiro em semanas. Este guia cobre tudo que você precisa saber para configurar bem e não se queimar.

Como o robots.txt se encaixa no funcionamento do Google

Quando o Googlebot quer visitar um site, a primeira coisa que ele faz é ler https://seusite.com/robots.txt. Com base nas regras ali, ele decide quais URLs vai tentar rastrear. O arquivo não é obrigatório, mas é quase unanimidade em grandes sites.

Importante: robots.txt controla rastreamento (crawling), não indexação. Bloquear uma URL aqui impede o bot de ler a página, mas não garante que ela não apareça na busca — porque se houver links externos para ela, o Google pode indexar o link em si mesmo sem ter lido o conteúdo.

Sintaxe: os cinco elementos essenciais

O arquivo é composto por grupos de diretivas. Cada grupo começa com um User-agent e lista as regras para aquele bot.

Exemplo mínimo funcional

User-agent: bot por bot

O asterisco * é o coringa para “todos os bots”. Mas você pode direcionar regras a bots específicos — cada um tem um token próprio.

Disallow: como bloquear áreas

A diretiva Disallow segue padrões do URL path, não regex — mas aceita alguns wildcards específicos.

• Bloquear pasta: Disallow: /admin/ bloqueia tudo sob /admin/.
• Bloquear URL específica: Disallow: /teste.html.
• Bloquear tipo de arquivo: Disallow: /*.pdf$ (asterisco = qualquer caractere; dólar = fim da URL).
• Bloquear parâmetro: Disallow: /*?* bloqueia URLs com query string (use com muito cuidado).
• Bloquear tudo: Disallow: / — ATENÇÃO, apaga SEO inteiro.
• Liberar tudo: Disallow: (valor vazio) — equivale a nenhuma regra.

Allow: liberando exceções

A diretiva Allow sobrescreve um Disallow mais amplo. Útil quando você bloqueia uma pasta mas quer liberar parte dela.

Em caso de conflito entre Disallow e Allow, o Google escolhe a regra mais específica (maior número de caracteres). Na dúvida, liste a Allow antes da Disallow correspondente para clareza humana.

Sitemap: o link que aumenta indexação

A diretiva Sitemap é global — ela vale para todos os User-agents, independente de onde esteja no arquivo. Você pode listar múltiplos sitemaps.

Apontar o sitemap no robots.txt é redundante com envio direto ao Search Console — mas é boa prática. Bots como Bing e DuckDuckGo descobrem sitemaps só por esse caminho.

Templates prontos por CMS

WordPress

Next.js (App Router, estático ou SSR)

Shopify

Shopify gera robots.txt automaticamente. Desde 2021 é editável via tema (robots.txt.liquid). Evite bloquear /products/ ou /collections/ — é onde mora a receita.

E-commerce com filtros (faceted navigation)

Bloqueando crawlers de IA

Em 2026, quem produz conteúdo original tem interesse legítimo em decidir se esse conteúdo entra em dataset de treinamento de IA. Os três grandes respeitam opt-out via robots.txt.

Wildcards e padrões avançados

O Google suporta dois caracteres especiais nos caminhos:

• Asterisco *: qualquer sequência de caracteres.
• Dólar $: fim da URL.

Exemplos úteis:

• Disallow: /*.pdf$ — todos os arquivos terminando em .pdf.
• Disallow: /teste* — qualquer coisa começando com /teste.
• Disallow: /*?print= — páginas com parâmetro print.
• Disallow: /private/*.html$ — apenas HTMLs na pasta private.

Erros clássicos que derrubam SEO

• Deploy com Disallow: / global: comum em sites novos que ficaram com o robots.txt de ambiente de dev. Apaga a indexação em 2–4 semanas.
• Bloquear CSS ou JS: Google precisa ver o layout renderizado. Bloquear/assets/ ou /js/ prejudica avaliação de mobile e Core Web Vitals.
• Usar robots.txt para “esconder” dados sensíveis: o arquivo é público; listar Disallow: /login/senha-do-admin/ literalmente anuncia onde fica a área sensível.
• Sintaxe errada em wildcard: Disallow: *.pdf sem a barra inicial não funciona. É Disallow: /*.pdf$.
• Case-sensitivity: /Admin/ e /admin/ são diferentes para robots.txt.
• Confundir Disallow com noindex: para manter fora do índice, use meta robots noindex, não Disallow.

Como testar antes de subir para produção

1. Acesse o “Testador de robots.txt” no Google Search Console (Configurações → Crawl).
2. Cole o conteúdo novo no editor e valide URLs importantes: home, produtos/posts principais, categorias, sitemap.
3. Confirme que cada URL importante retorna “permitido” no user-agent Googlebot.
4. Só depois copie o arquivo para a raiz do domínio.
5. Em 24–48h, confira o relatório “Páginas” do Search Console para ver se apareceram bloqueios inesperados.

Limitações: o que o robots.txt NÃO faz

• Não impede indexação se houver links externos.
• Não esconde nada — o arquivo é público.
• Não protege contra scrapers maliciosos.
• Não substitui autenticação, WAF, rate limiting.
• Não transfere autoridade de link (usa canonical para isso).
• Não remove URLs já indexadas (use Remover URL no Search Console).

robots.txt em uma frase

É o porteiro do seu site para crawlers: cinco linhas bem escritas economizam orçamento de rastreamento, guardam áreas privadas e defendem conteúdo de IAs que treinam sem permissão. Cinco linhas mal escritas apagam seu SEO. Leia antes de publicar.