Inválidos antes del análisis: los datos de tu investigación

El error más caro de una investigación no es un gráfico malo. Ocurre antes del análisis, cuando los datos nunca fueron válidos. Una encuesta llenada por un robot, un panel que dejó de representar a alguien, una herramienta que cuenta un acierto como error. En cualquiera de esos casos, los números se ven limpios, pero la muestra está rota. El índice de métodos de investigación (en inglés) reúne el material detrás de este post.

Por qué el error más caro ocurre antes del análisis

Un hallazgo solo se sostiene cuando la persona detrás de él era real, estaba dispuesta y podía responder. Si una de las tres falla, el análisis arrastra la falla. Una prueba impecable con la persona equivocada igual lleva a una prioridad equivocada. Así un problema de datos se convierte en una decisión de producto, y por eso los criterios de selección (en inglés) están en la base de toda la cadena.

Respuesta automatizada en encuestas y las señales

El artículo de NN/g sobre robots de encuesta (en inglés) llama “survey bot” a un programa automatizado, o a una persona con una herramienta de automatización, que llena el cuestionario con respuestas fraudulentas. El rango va de la elección aleatoria al texto abierto que suena plausible y lo escribió una IA. Muchos pasan una pregunta de control de atención, y un incentivo modesto ya atrae ese tráfico. Cualquier encuesta en canal abierto queda expuesta.

Vigila estas señales:

Una finalización mucho más rápida de lo que el tamaño del cuestionario permitiría.
Texto abierto largo, genérico, de longitud uniforme y demasiado pulido.
La misma IP en una ventana corta, con la salvedad de que una red compartida genera duplicados legítimos.
Un correo duplicado, o una dirección que sigue una secuencia extraña.
Un bloque de respuestas que se sale de la línea cuando el orden se aleatoriza.

Una señal sola no prueba nada. Dos o tres señales convergentes suelen bastar para marcar la respuesta. El robot también llega en lote y mejora rápido, así que la señal que sirvió en una ola anterior puede no atrapar la de hoy.

El panel interno de participantes

Un panel mantenido en casa falla por tres motivos. La base es estática, envejece y nadie la renueva, lo que obliga a una selección extra. El sesgo de muestreo entra porque quien se suma al panel ya aprecia la empresa y puede elogiar de más. Las mismas personas también aprenden el producto demasiado para representar a quien llega por primera vez. El panel también se aleja de la realidad del negocio que debía reflejar, porque congeló el mercado en el momento en que se armó.

La salida es que alguien sea claramente responsable. Alguien tiene que responder por mantener el dato fresco, revisar la tasa de respuesta y renovar los segmentos, con rotación y reclutamiento ocasional fuera del panel.

La herramienta que impone mal método

La propia herramienta de investigación puede traer errores de método incorporados. El archivo da ejemplos. Una plataforma, en una prueba de interacción, permite una sola URL de éxito y no aleatoriza la tarea, lo que hace que un éxito real se cuente como fallo. Una herramienta de análisis deja marcar texto y no vídeo, lo que falla cuando el momento crítico ocurre sin narración. Un producto llama guía de discusión a todo y mezcla entrevista con prueba de usabilidad.

El riesgo crece en la era de la IA. Cuando la herramienta escribe la tarea con la terminología del propio sitio y dice dónde hacer clic, induce la respuesta y devuelve un resultado sesgado que igual parece investigación sólida. Un análisis de embudo limpio, montado sobre esa tarea, hereda la misma distorsión.

Usuario sintético y gemelo digital

El archivo revisa tres estudios de terceros. Un gemelo digital replica bien la respuesta humana a nivel individual y de grupo, lo que lo vuelve útil para rellenar una respuesta faltante con precisión relativamente alta. El método más simple, enriquecer el prompt con datos de entrevista, parece dar el mejor resultado. Un usuario sintético es menos convincente: captura la tendencia, pero no acierta la magnitud y la variabilidad.

Esa revisión de estudios de simulación (en inglés) reporta 78% de precisión al rellenar un dato faltante y 67% en una pregunta nueva. Para el relleno, encontró una correlación de 0,98 a nivel poblacional. Un estudio revisado allí (en inglés) corrió una entrevista conducida por IA con 1.052 entrevistados. Una encuesta de marketing reunió 605 respondientes, y una comparación de métodos dio 0,85 frente a 0,70 y 0,71. La misma revisión (en inglés) también halló una desviación estándar menor en los respondientes sintéticos.

La revisión advierte que el sesgo depende del grupo demográfico y de la tarea. También afirma que el resultado no reemplaza la investigación humana, y plantea el consentimiento y la pérdida de agencia. Trata el gemelo como un sustituto de un hueco que puedes nombrar. No reemplaza al usuario. La síntesis de investigación con IA muestra cómo devolver ese sustituto a un estudio real.

Criterios de selección definidos antes de abrir la recogida

Una selección rigurosa es la base de la validez externa. El artículo de criterios de selección (en inglés) lista tres formas en que el reclutamiento falla. El candidato de mal encaje nunca coincide con el perfil. El “probador profesional” entra en todo por dinero y deja de representar al usuario común. El participante de mala fe miente en la selección o usa IA para pasarla rápido.

El costo aparece de dos maneras. Cuando la sesión revela el problema, pagas el incentivo y el tiempo. Cuando queda escondido, el dato impreciso entra en el hallazgo y empuja la prioridad equivocada. Ese es el caso más peligroso, porque nadie ve la pérdida.

El dato demográfico, por sí solo, no describe a nadie. Un recorte de edad, ingresos y estado civil puede juntar a cuatro personas muy distintas. El comportamiento pasado predice el comportamiento futuro mejor que cualquier campo de perfil. Por eso el archivo se organiza en inclusión, exclusión y diversidad, y usa la matriz de reclutamiento para equilibrar la muestra en lugar de una cuota rígida. Una prueba de usabilidad con cinco participantes igual necesita esa disciplina en la puerta.

Lista de verificación antes de confiar en el dato

Confirma quién podía responder y cómo se envió la invitación.
Compara el tiempo de finalización con el largo del cuestionario.
Lee el texto abierto buscando longitud uniforme y frase genérica.
Cruza IP, correo y bloque de respuestas en busca de convergencia.
Nombra al dueño del panel y la fecha de renovación.
Lee los valores por defecto de la herramienta buscando una regla de método escondida.
Pregunta qué está reemplazando un relleno sintético.
Escribe los criterios de inclusión, exclusión y diversidad antes de la primera sesión.

Donde las fuentes discrepan

El conflicto más fuerte queda entre los dos artículos de IA. El artículo de robots trata al respondiente no humano como contaminación que hay que quitar. La revisión de simulación trata al respondiente generado por IA como relleno legítimo de un dato faltante. Mismo mecanismo, valoración opuesta. La distinción que ambos sostienen sin decirla es fraude no solicitado frente a un sustituto deliberado y rastreable.
El panel: un artículo dice que un panel bien cuidado da participantes de calidad, y el otro advierte que el probador profesional deja de representar al usuario común, que es justo la población de un panel.
El encuadre de la IA: la revisión de simulación es relativamente optimista con la IA imitando a un humano, mientras el artículo de herramientas trata la IA dentro del producto como riesgo de investigación fallida presentada con confianza a escala. No se contradicen, porque uno revisa un estudio académico y el otro critica una herramienta comercial, pero el texto tiene que elegir el encuadre en lugar de pegar los dos lado a lado.
Dentro del artículo de robots: el robot mejora rápido, lo que debilita cualquier lista fija de selección, y el mismo archivo propone un método estable de selección. La salida del artículo es exigir señal convergente en lugar de un indicio fijo.