CategoriaCódigo e arquitetura

llms.txt: o que é, quem lê e quando vale publicar um

8 minutos de leitura

O llms.txt é um arquivo de texto na raiz do site que resume o que o site é e aponta as páginas que um agente de IA deveria ler. Ele é escrito em Markdown, um formato com marcas leves de título e link. É uma proposta aberta, e não um padrão oficial. O Google diz que ele não é necessário para aparecer nos recursos de IA da Pesquisa (Central da Pesquisa Google, Recursos de IA e seu site). Vale publicar quando agentes consultam o seu conteúdo na hora de responder alguém, como em documentação de software, e quando o arquivo sai do próprio conteúdo em vez de ser escrito à mão.

O que o arquivo é

A ideia é de Jeremy Howard, publicada em 3 de setembro de 2024 e revista em agosto de 2026 (llmstxt.org, a proposta (em inglês)). O motivo é prático. A página feita para gente vem embrulhada em menu, anúncio e JavaScript, e o agente gasta contexto e tempo para achar o texto no meio disso.

O formato é curto e tem ordem fixa, segundo a especificação (em inglês):

  • um título de nível 1 com o nome do site, que é a única parte obrigatória;
  • uma citação em bloco com o resumo do que o site é;
  • texto livre, sem subtítulos, com o que ajuda a ler o resto;
  • seções com subtítulo de nível 2, cada uma com uma lista de links no formato [nome](url): nota.

A seção chamada Optional (opcional, em inglês), por convenção, guarda os links que o agente pode pular quando precisa economizar contexto.

A versão 2 trouxe três mudanças, descritas na página de mudanças da proposta (em inglês). O arquivo pode morar num subcaminho, como /docs/llms.txt, e cobre as páginas abaixo dele. Cada página pode ter uma versão em Markdown no mesmo endereço, terminada em .md. E o HTML pode apontar para as duas coisas com rel="alternate" e rel="describedby".

Quem lê

A própria proposta (em inglês) diz para quem o arquivo foi feito: o agente que precisa de informação no momento em que ajuda alguém. O uso mais comum é em documentação de software, onde o agente de código procura a referência da API certa. O autor esperava mais uso na resposta do que no treino de modelos, e diz que foi assim que aconteceu.

Agente, aqui, é o sistema que persegue um objetivo agindo, avaliando o progresso e decidindo sozinho o próximo passo. A definição é de Caleb Sponheim no Nielsen Norman Group, o NN/g (em inglês). Ele aponta os agentes de busca e os de código como os exemplos mais visíveis do começo de 2026.

Ler um site custa caro para esse leitor. Sarah Gibbons e Kate Moran, no NN/g (em inglês), descrevem três jeitos de um agente usar uma página: olhar uma captura de tela, ler a árvore de acessibilidade ou falar direto com uma API. Uma única captura passa de dezenas de milhares de tokens, a unidade de texto que o modelo processa. A árvore de acessibilidade custa alguns milhares.

O teste de Evan Sunwall com o modo agente do ChatGPT, no NN/g (em inglês), mostra o tamanho da busca. Para achar um restaurante para um almoço de trabalho, o agente passou 6 minutos pesquisando, com 10 buscas e 96 fontes.

Os laboratórios de IA publicam o arquivo na documentação deles. Há o da OpenAI (em inglês), o da Anthropic (em inglês) e o da API do Gemini (em inglês). A proposta (em inglês) também lista ferramentas que geram o arquivo sozinhas, como Mintlify, GitBook, Wix e o plugin Yoast SEO para WordPress.

O número de adoção vem do autor. Ele fala em milhares de sites com o arquivo, sem uma contagem independente por trás (llmstxt.org, mudanças da versão 2 (em inglês)).

O que ele não faz

  • Não controla acesso. Quem diz o que pode ser rastreado é o robots.txt, e até ele é um pedido, não uma tranca. A norma do robots.txt, a RFC 9309 (em inglês), diz que as regras “não são uma forma de autorização de acesso”.
  • Não tira página da Pesquisa. Para limitar o que o Google mostra, inclusive nos recursos de IA, valem o robots.txt e os controles nosnippet e noindex (Central da Pesquisa Google).
  • Não substitui o sitemap. O protocolo de sitemap lista as páginas que o buscador pode indexar. A proposta (em inglês) quer o contrário: uma seleção curta, que caiba no contexto do modelo.
  • Não é requisito do Google. A página do Google sobre recursos de IA diz que não é necessário criar “arquivos de texto de IA” para aparecer nas Visões gerais nem no Modo IA.

Onde as fontes divergem

A divergência mais curiosa fica dentro do próprio Google. A Central da Pesquisa diz que o arquivo não é preciso. Já o Lighthouse, a ferramenta de auditoria do Chrome, confere se ele existe na raiz do domínio. A checagem fica numa categoria experimental de navegação por agentes, que exige o Chrome 150 ou mais novo (Chrome for Developers, pontuação da navegação agêntica).

Mesmo ali o arquivo é opcional. Segundo a página da auditoria, o Lighthouse só aponta problema quando o servidor dá erro ao entregar o arquivo. Se o endereço responde 404, a auditoria fica como não aplicável.

Na minha leitura, as duas páginas falam de leitores diferentes. A Pesquisa monta o índice com o robô de rastreamento e não precisa de atalho. O agente que abre o site no meio de uma conversa tem pouco tempo e pouco contexto, e é para ele que o arquivo existe.

O artigo do NN/g sobre agentes como usuários (em inglês) nem fala de arquivo especial. Para servir pessoas e agentes ao mesmo tempo, ele recomenda a base da acessibilidade: nome claro em cada elemento, padrão previsível, HTML semântico e hierarquia lógica. O texto sobre HTML semântico cobre essa parte.

Quando não vale publicar

Nem todo site quer encurtar o caminho do agente. O mesmo artigo do NN/g (em inglês) lembra os negócios em que a visita é o produto, como os sites que vivem de anúncio. Ali, um agente que leva a resposta sem a visita é um problema. O texto também cita casos em que o atrito existe por regra, como em finanças e saúde. Nesses casos, entregar um atalho ao agente é uma decisão de negócio, e não só técnica.

Como montar um

  1. Comece pelo título e pelo resumo. O nome do site no título e, logo abaixo, uma ou duas frases que digam o que ele é e para quem.
  2. Escolha as páginas, não liste todas. Cada link leva uma nota curta que diz o que há na página. É essa nota que ajuda o agente a decidir se vale abrir.
  3. Aponte para texto legível. A proposta (em inglês) pede que os links levem a conteúdo fácil para o modelo, como a versão em Markdown da página, quando ela existe.
  4. Gere a partir do conteúdo. Um arquivo escrito à mão fica velho no primeiro texto publicado depois dele.
  5. Garanta que o endereço responda. Erro de servidor é o único caso que o Lighthouse marca como falha.
  6. Teste com um agente. A proposta (em inglês) sugere fazer perguntas sobre o site a um agente que só recebeu o arquivo como ponto de partida.

Como aparece nos meus projetos

No kahue.net, o llms.txt (em inglês) é gerado no build, a etapa que monta o site antes de ir ao ar, a partir do conteúdo. Ele traz o nome, o resumo do perfil, as páginas principais, a lista de textos com a descrição de cada um e o endereço dos três idiomas. Texto novo entra sozinho no build seguinte. Deixei anotado no código o motivo: um arquivo fixo na pasta pública envelheceria na primeira publicação e passaria a dizer algo falso sobre o site.

O site não publica uma versão em Markdown de cada página. O link leva ao HTML estático, que já chega com o texto inteiro, sem depender de JavaScript para aparecer.

No site da Vexor, o produto em que monto assistentes de IA para WhatsApp, o llms.txt entrou como uma peça da camada de SEO e GEO que escrevi. GEO é o trabalho de ser encontrado e citado por motores de resposta de IA. O arquivo ficou ao lado das dúvidas respondidas na página e da oferta e do preço em dado estruturado. Para entender como esses motores escolhem o que citar, veja o texto sobre motores de resposta por IA.

O erro comum

O erro comum é publicar o llms.txt esperando subir no Google ou ser citado por uma IA. O Google diz que as práticas de SEO de sempre continuam valendo, e que o arquivo não entra nessa conta. O que ele faz é encurtar o caminho de um agente até as páginas certas. Se essas páginas forem fracas, o arquivo só leva o agente mais rápido até elas.

Fontes

Outros textos

Ver todos os textos