Quem já pediu ao ChatGPT "quais as melhores marcas de fone de ouvido" duas vezes seguidas sabe: a lista muda. Muda a ordem, muda a quantidade de itens e às vezes muda a marca. Isso não é defeito pontual. É o jeito como esses sistemas funcionam, e um estudo de 2026 mediu o tamanho do efeito: a chance de receber a mesma lista de marcas duas vezes ficou abaixo de 1 em 100.
O que o estudo da SparkToro encontrou
Rand Fishkin, da SparkToro, e Patrick O'Donnell, da Gumshoe.ai (uma empresa de monitoramento de IA que patrocinou a pesquisa), rodaram 2.961 prompts com centenas de voluntários entre novembro e dezembro de 2025. Foram 12 pedidos de recomendação de marca, sobre facas de cozinha, fones de ouvido e hospitais de tratamento de câncer, entre outros, cada um repetido de 60 a 100 vezes no ChatGPT, no Claude e no Google (AI Overview, ou AI Mode quando o resumo não aparecia).
Os números, segundo a cobertura do Search Engine Journal:
- Mesma lista de marcas: menos de 1 chance em 100, no ChatGPT e no Google.
- Mesma lista na mesma ordem: menos de 0,1% das repetições.
- Nenhuma plataforma atingiu o critério dos autores para repetição confiável.
- Mas algumas marcas aparecem quase sempre. Em respostas sobre fones, Bose, Sony, Sennheiser e Apple estiveram em 55% a 77% delas, mesmo com prompts escritos de jeitos bem diferentes por 142 pessoas.
A conclusão dos autores é a parte útil: a posição na lista é quase ruído, mas a frequência com que uma marca aparece ao longo de muitas rodadas é bem mais estável. Fishkin chegou a dizer que qualquer ferramenta que mostre uma "posição no ranking da IA" está vendendo um número sem sentido. Vale lembrar que é um estudo patrocinado por uma empresa do setor, com 12 temas, e não um retrato de todos os mercados.
Por que a resposta muda
Há várias causas somadas. Nenhuma delas sozinha explica tudo.
1. O modelo sorteia palavras. Um modelo de linguagem escreve uma palavra por vez, escolhendo entre as mais prováveis. Na maior parte dos produtos, essa escolha tem um componente de sorteio controlado, chamado temperatura. Temperatura alta deixa o texto mais variado. É por isso que o mesmo pedido gera frases diferentes.
2. Mesmo sem sorteio, o resultado varia. Em setembro de 2025, a Thinking Machines Lab publicou um teste que surpreendeu muita gente. Com a temperatura em zero, que em tese tira o sorteio, eles pediram 1.000 vezes "Tell me about Richard Feynman" a um mesmo modelo. Saíram 80 textos diferentes. As respostas eram idênticas até a palavra 103 e então se dividiam. A causa principal: o servidor processa vários pedidos juntos, em lotes, e o tamanho do lote muda conforme o movimento. Essa mudança altera a ordem de pequenas contas e, no fim, a palavra escolhida. Com uma técnica própria, os pesquisadores chegaram a 1.000 respostas iguais, mas isso não é o padrão dos assistentes que o público usa.
3. A busca na web muda. Quando o ChatGPT, o Perplexity ou o Google buscam na internet antes de responder, as páginas encontradas variam com o tempo: sai conteúdo novo, uma página cai, outra sobe. O Google documenta que o AI Overview e o AI Mode podem usar o "query fan-out", que é disparar várias buscas relacionadas sobre subtemas para montar uma resposta. Mais buscas, mais pontos onde o resultado pode mudar.
4. O contexto muda. Conta logada, histórico da conversa, memória ativada, idioma e país interferem. Duas pessoas digitando a mesma frase não estão necessariamente fazendo o mesmo pedido para a IA.
5. O modelo é atualizado. As empresas trocam versões e ajustes sem avisar a cada mudança. Uma resposta de março pode não ser comparável com uma de agosto.
O que isso significa para quem mede marca em IA
Se a resposta varia, uma única tentativa não diz quase nada. Um print do ChatGPT mostrando a marca em primeiro lugar é um retrato de um momento, como uma foto de uma rua movimentada: na próxima, os carros são outros.
O jeito de transformar algo instável em um número útil é o mesmo das pesquisas de opinião: amostra e repetição.
| Abordagem | O que mostra | Confiança |
|---|---|---|
| Um print, uma vez | o que apareceu naquele instante | baixa |
| Mesmo prompt, várias rodadas | com que frequência a marca aparece | média |
| Vários prompts, vários canais, ao longo de semanas | tendência de visibilidade | maior |
Algumas regras práticas:
- Meça frequência, não posição. "A marca apareceu em 6 de cada 10 respostas" é mais estável que "a marca ficou em 2º lugar".
- Use vários prompts sobre o mesmo tema. Pessoas escrevem de formas diferentes. O post sobre como escolher prompts para monitorar explica como montar essa lista.
- Repita no tempo. Uma coleta semanal ou diária mostra se a mudança é tendência ou acaso.
- Separe por canal. ChatGPT, Perplexity e Google se comportam de jeitos diferentes; misturar tudo esconde a diferença.
- Guarde a resposta original. Sem o texto que gerou o número, ninguém consegue conferir se a contagem faz sentido.
- Declare o que ficou fora. Rodada que falhou ou resumo do Google que não apareceu não devem entrar na conta como "marca ausente".
Como a DeepMetric lida com isso
A DeepMetric roda cada prompt no ChatGPT, Gemini, Google AI Mode e Google AI Overview em sessão anônima, no Brasil, com cadência manual, semanal ou diária. Falhas e "AI Overview não exibido" ficam fora da base e aparecem declarados, e todo número leva à resposta original. O post sobre coleta e cadência de monitoramento mostra como configurar a repetição.