CategoriaPesquisa e método

IA na síntese de pesquisa: o que ela faz e o que custa

7 minutos de leitura

A IA não substitui a leitura da entrevista. Ela substitui a parte mecânica de agrupar o que você já leu. O erro é pedir a síntese antes de ter o dado limpo. Com a transcrição crua, o modelo agrupa ruído com a mesma confiança com que agrupa um achado, e o resultado sai mais bem escrito do que o material justifica.

As cinco etapas e o que é mecânico em cada uma

Pesquisa qualitativa passa por cinco etapas. Separe cada uma antes de abrir a ferramenta.

Coleta é a entrevista, a sessão, as notas que você tomou enquanto a pessoa falava. Quase nada aqui é mecânico. A pergunta de seguimento depende do que a pessoa acabou de dizer e da pausa antes dela.

Limpeza é transcrição, correção de nome, corte de muleta, marcação de quem falou. Essa etapa é mecânica, e o modelo dá conta dela.

Codificação é colar um rótulo em uma passagem. A metade mecânica aplica um livro de códigos que você já escreveu. A outra metade percebe a passagem que não cabe em código nenhum, e essa metade fica com você.

Agrupamento é colocar as passagens codificadas lado a lado e procurar um padrão. A metade mecânica é a ordenação. A metade de julgamento é decidir qual padrão importa para a decisão que vem depois.

Decisão é escolher o que o achado significa para o produto. Essa etapa fica sempre com uma pessoa, porque a decisão precisa de alguém que responda por ela, e um modelo não ocupa esse lugar.

Onde a IA acelera de verdade

Cinco passos ficam mais rápidos, e cada um tem um mecanismo por trás.

  • Limpeza de transcrição. Pontuação, marcação de fala e carimbo de tempo são regra, e regra é barata de automatizar.
  • Primeira passada no livro de códigos. Dê trinta trechos ao modelo e pergunte quais rótulos se repetem. Você recebe uma lista para corrigir, não um livro de códigos.
  • Busca dentro do material. Pergunte onde um assunto aparece. Achar uma passagem é busca, e busca é mecânica.
  • Conversão de formato. Um resumo de sessão para outro time, uma tabela de temas, um rascunho traduzido de uma citação que você já escolheu.
  • Formato rígido. Relatório com seções fixas e citação padronizada. O Nielsen Norman Group conta que usa IA no próprio processo editorial (em inglês) nesse tipo de acabamento, e quem julga o texto continua sendo gente.

O padrão é o mesmo nos cinco casos. A IA encurta a distância entre o material que você já leu e o artefato que o carrega. O post sobre IA no fluxo de design aplica a mesma divisão ao trabalho de design como um todo.

Onde ela contamina o resultado

Aqui o maior risco não é o erro. É o texto fluente demais.

Vale conhecer quatro falhas, porque todas parecem acerto.

Discordância achatada. O modelo resume o que você cola, e resumo é compressão em direção à média. O participante que discordou dos outros sete vira uma frase dentro de um parágrafo sobre o tema. O motivo dele desaparece primeiro.

Padrão inventado. Se você pede temas, recebe temas. O pedido já implica que o padrão existe, então o modelo produz um. Uma lista de temas não é prova de que o tema está no dado.

O caso perdido. O caso que contradiz a média costuma ser o achado. Um sistema ajustado para ser útil alisa a exceção, porque a exceção parece ruído ao lado da maioria.

Contexto perdido. A pausa, o assunto que a pessoa evitou, a frase que veio depois de um silêncio longo. Esses sinais vivem na gravação, não no resumo, e raramente sobrevivem a uma etapa de compressão.

Desconfie também de qualquer número que apareça no resumo sem uma linha de transcrição por trás. Pelo mesmo motivo, este texto descreve mecanismos e não cita taxas.

Uma saída é exemplo, não avaliação

Uma síntese rodada uma vez é uma amostra. O Nielsen Norman Group lembra que a geração não é determinística (em inglês), então o mesmo pedido rende versões melhores e piores. Se a sua síntese saiu de uma tentativa só, ela mostra a tentativa, não o método. O post sobre como avaliar a saída de uma IA explica o método com mais detalhe.

Dado de pessoa: o que não pode sair da sua mão

Anonimize antes de colar, não depois.

  • Nome, empregador, cidade e time. O cargo identifica a pessoa em um time de quatro.
  • Citação direta é a parte mais identificável de uma transcrição. Uma fala sobre o gestor é uma assinatura quando o time tem um gestor só.
  • Saúde, dinheiro, situação jurídica, credenciais, menores e tudo que estiver sob um termo de consentimento que não citou um terceiro processador.
  • Gravação e nota bruta. Um trecho limpo carrega menos risco que o arquivo inteiro.

Leia o termo de consentimento contra o fluxo de trabalho. O termo diz o que acontece com a gravação, e um serviço de modelo é um destinatário novo que o termo provavelmente não nomeia. Verifique retenção, treinamento com a sua entrada e a região onde o processamento acontece. A Política de Uso da Anthropic (em inglês) separa padrões universais de casos de uso de consumo com risco elevado de dano, e um fluxo de pesquisa precisa ser lido contra essa divisão. As práticas de IA responsável do Google (em inglês) colocam privacidade e segurança no mesmo quadro. O Nielsen Norman Group documenta um time de pesquisa que apagou a planilha de participantes assim que o recrutamento terminou (em inglês), por motivo de privacidade. Trate o dado como algo que tem prazo de vida.

Como revisar a saída antes de virar achado

  • Volte à fonte em cada afirmação. Se o resumo diz que os participantes acharam o fluxo confuso, abra as transcrições e conte.
  • Leia o que o resumo cortou, além do que ele guardou. Comece pelo participante que discordou.
  • Rode o mesmo pedido três vezes e compare. As diferenças mostram onde o sistema está inseguro.
  • Peça o contraexemplo. Pergunte qual trecho contradiz o tema. O modelo responde isso quando você pergunta, e raramente oferece a resposta sozinho.
  • Mantenha o material bruto ao lado da saída. Achado que você não consegue rastrear até uma linha é palpite com gramática melhor.
  • Trate a lista de temas como hipótese, nunca como resultado.
  • Registre quem aprovou a versão final. Para o Nielsen Norman Group, a IA ajuda a escrever, mas a responsabilidade pelo texto é de quem assina (em inglês).

O que continua exigindo quem pesquisou

  • A pergunta. O modelo responde o que você pergunta, e escolher a pergunta é o primeiro ato de interpretação.
  • O critério do que conta como achado.
  • A exceção. Alguém precisa defender o caso que contradiz a média em uma sala onde a média é popular.
  • A leitura da experiência de uma pessoa. O modelo não tem acesso ao contexto de uma vida.
  • A assinatura. Responsabilidade não se delega a um serviço sem nome no relatório.

Onde os artigos do NN/g divergem entre si

Dois dos quatro artigos puxam para lados opostos sobre quem define o método. O Stop Making Your Team Figure Out AI on Their Own (em inglês) argumenta que deixar cada pessoa sozinha produz caos e risco. O time de operações deve testar as ferramentas primeiro e apoiar a adoção com orientação estruturada. O AI Can Help Write an Article, but It Can’t Stand Behind It (em inglês) diz o contrário sobre método dentro da mesma casa. Ali, o NN/g não prescreve como o autor escreve nem como pensa.

Eles também divergem sobre o valor de uma saída. O Supercharge UX Research by Automating Workflows and Repetitive Tasks (em inglês) apresenta a automação como caminho para codificar e analisar respostas conforme elas chegam. O One AI Output Is an Example, Not an Evaluation (em inglês) trata uma saída isolada como amostra que não sustenta decisão, e pede rodadas repetidas antes de ela contar.

O ponto em que eles concordam é pequeno, mas útil. A automação fica na parte repetitiva, e o julgamento continua com uma pessoa.

Fontes

Outros textos

Ver todos os textos