Por qué cinco participantes bastan en un test de usabilidad

Cinco participantes bastan para un test de usabilidad cualitativo, y el número sale de una curva medida, no de una costumbre. Jakob Nielsen y Thomas Landauer modelaron el hallazgo de problemas como un proceso de Poisson (en inglés) en 1993. Su modelo estima que un solo participante encuentra alrededor del 31% de los problemas de una interfaz. Cinco participantes cubren cerca del 85% de ellos. La misma investigación también dice dónde está ese límite, y la mayoría de los equipos salta esa parte.

De dónde sale el número cinco

Jakob Nielsen y Thomas Landauer publicaron “A mathematical model of the finding of usability problems” (en inglés) en la conferencia ACM INTERCHI’93, en Ámsterdam. Trataron a cada participante como una oportunidad independiente de chocar con un problema. En 11 estudios, la detección de problemas se ajustó bien a un proceso de Poisson.

El modelo tiene dos términos. N es el total de problemas del diseño. L es la porción de esos problemas que encuentra un participante. El promedio estimado de L en sus estudios fue del 31%. Con ese valor, un participante halla cerca de un tercio de los problemas, tres hallan cerca de dos tercios, y cinco hallan cerca del 85% (Nielsen y Landauer (en inglés)).

El costo también es parte del argumento. El artículo de 2000 (en inglés) ubica la mejor relación beneficio-costo entre tres y cinco usuarios, según el estilo de la prueba. El cinco es un redondeo de una curva, no una constante de la naturaleza.

Nielsen repitió la regla para la web en marzo de 2000, en el artículo “Why You Only Need to Test with 5 Users” (en inglés), en el sitio del Nielsen Norman Group. Dos detalles pesan más que el titular. La curva muestra que cubrir el conjunto completo de problemas exige unos 15 participantes. La recomendación es gastar ese presupuesto en tres estudios de cinco, en lugar de un estudio de quince, porque el objetivo es un diseño mejor y no un informe más largo.

El artículo de 2000 también dice lo que es fácil olvidar: cero usuarios producen cero hallazgos. El primer participante vale más que el quinto, y el quinto vale más que el vigésimo.

Por qué el retorno cae rápido después de los primeros

Cada participante nuevo repite parte de lo que hicieron los anteriores y aporta menos cosa nueva. La curva de hallazgos nuevos se va aplanando. El modelo de 1993 y el artículo de 2000 describen el mismo efecto. El segundo participante enseña menos que el primero, y el quinto enseña poco que los tres primeros no hayan mostrado.

El seguimiento de 2012 de Nielsen, “How Many Test Users in a Usability Study?” (en inglés), relata una encuesta que él aplicó en su propia conferencia de UX con 217 respuestas. La práctica promedio en las empresas de esos asistentes era de 11 participantes por ronda, más del doble de la recomendación. Las sesiones extra costaron dinero y trajeron pocos hallazgos nuevos.

La alternativa a una muestra más grande es una segunda ronda. Después del rediseño, un grupo nuevo de cinco prueba la corrección y también expone problemas que la primera ronda no captó. El artículo de 2000 (en inglés) ubica la primera ronda cerca del 85% de los problemas y dice que la segunda encuentra la mayor parte del 15% restante. Una tercera ronda limpia lo que sobra.

El costo fijo es parte del argumento. Reclutar, programar y montar una sesión cuesta casi lo mismo para un participante que para cinco. El artículo de 2012 (en inglés) observa que un costo fijo menor por estudio es lo que permite correr muchos estudios pequeños. Repartir ese costo fijo entre cinco personas baja el precio de cada hallazgo.

Qué no resuelven cinco participantes

Cuatro situaciones donde cinco es el número equivocado.

Medir es otra historia. Cinco participantes sostienen el descubrimiento. No sostienen un número. El artículo de 2012 (en inglés) de Nielsen fija el piso de 20 participantes para estudios cuantitativos y dice que los intervalos de confianza estrechos exigen más. El card sorting necesita al menos 15 por grupo. Los mapas de calor de eyetracking necesitan 39. El artículo de 2006 sobre estudios cuantitativos (en inglés) muestra la cuenta detrás de ese piso.

No siempre hay un solo público. El modelo de 1993 vale para usuarios comparables, que usan el producto de forma parecida. Nielsen recomienda de 3 a 4 participantes por categoría (en inglés) al probar dos grupos, y 3 por categoría para tres grupos o más. El kit de pruebas de usabilidad del Departamento de Seguridad Nacional de Estados Unidos (DHS) (en inglés) lo dice de forma directa. “Si crees que puede haber comportamientos distintos según el tipo de usuario, incluye cuatro de cada tipo.”

Los problemas raros quedan invisibles. Jeff Sauro, de MeasuringU, rehízo la cuenta binomial (en inglés) en 2010. Cinco usuarios dan un 85% de probabilidad de ver un problema que afecta al 31% de los usuarios. Un problema que afecta al 10% de los usuarios exige 18 usuarios para la misma probabilidad. Un problema que afecta al 1% exige 189. Sauro agrega (en inglés) que, en software ya lanzado, la frecuencia de un problema suele quedar por debajo del 10%. Por eso los mismos cinco participantes hallan menos problemas en un producto maduro que en un prototipo.

Cinco es una distribución, no una garantía. Laura Faulkner probó 60 usuarios en 2003 y sorteó conjuntos aleatorios a partir del grupo entero. Su artículo (en inglés), en Behavior Research Methods, Instruments and Computers volumen 35, relata que algunos conjuntos de cinco hallaron el 99% de los problemas, mientras que otros hallaron solo el 55%. Con 10 usuarios, el conjunto más débil halló el 80%. Con 20 usuarios, el 95%.

Ese último hallazgo es una crítica justa, pero no derriba la regla. Muestra que el resultado varía. El promedio sigue favoreciendo cinco en lugar de quince, y el peor caso es un argumento para una segunda ronda, no para una sesión gigante. Un riesgo distinto vive antes de la sesión, y datos de investigación inválidos cubre lo que arruina un estudio antes de que llegue el primer participante.

Cómo armar el guion de tareas

Una tarea es un objetivo más un punto de partida. Un camino por la interfaz no es una tarea, es la hoja de respuestas.

Escribe la tarea con las palabras de quien la hace, nunca con las palabras de la interfaz. “Encuentra la factura que enviaste en marzo” funciona. “Abre la pestaña Cobros y usa el filtro de fecha” entrega el camino y no mide nada.
Prueba primero el flujo más riesgoso. Si la sesión se corta, el hallazgo valioso ya está registrado.
Apunta de cinco a siete tareas por sesión. El kit del DHS (en inglés) fija el límite en “no más de 15 a 20 minutos por participante” de actividad. Y el guion de digital.gov (en inglés), de la Administración de Servicios Generales de Estados Unidos, sugiere una duración de sesión como 30 minutos.
Haz que el final sea observable. Necesitas saber si la tarea terminó, y una tarea sin línea de llegada no se puede puntuar.
Cubre el estado en que llega la persona. Visitante primerizo y cliente recurrente son dos tareas distintas, incluso en la misma pantalla.
Lee la tarea en voz alta una vez y entrégala. Si tienes que explicarla, la tarea está rota y no el participante.
Haz una sesión de práctica con un colega. Recluta a los participantes reales para la prueba real.

Cómo moderar sin inducir la respuesta

El trabajo del moderador es observar y escuchar, no enseñar. El kit del DHS (en inglés) enuncia el principio en una línea: observas y escuchas sin enseñar ni entrenar. Cada pista que das gasta el hallazgo que pagaste por tener.

Di el encuadre antes. El guion de digital.gov (en inglés) abre con la frase de que no existen respuestas equivocadas y pide que la persona piense en voz alta todo lo posible.
Quédate en silencio diez segundos después de que la persona deje de hablar. La segunda frase suele ser la útil, y solo aparece si esperas.
Responde una pregunta con otra pregunta. “¿Qué esperabas que pasara?” mantiene a la persona hablando. “Está arriba a la derecha” termina la sesión antes de tiempo.
Nunca confirmes. Palabras como “correcto”, “exacto” y “bueno” le enseñan al participante qué quieres oír durante el resto de la sesión.
No digas el nombre de la función. En el instante en que dices el nombre del botón, probaste tu vocabulario y no la interfaz.
Échale la culpa al diseño. “Esta pantalla confunde y la culpa es nuestra” libera a la persona para admitir la falla.
Pide la última vez real. “¿Cuándo hiciste esto de verdad por última vez, y cómo te fue?” produce memoria en lugar de opinión.
Deja las preguntas de opinión para el final, o córtalas. Lo que la persona dice que haría y lo que hace en la pantalla son conjuntos de datos distintos.

Qué anotar durante la sesión

Anota lo que pasó, en el orden en que pasó, con las palabras que usó el participante.

La acción. Qué clic, qué texto o qué desplazamiento hizo la persona, y dónde estaba eso en la pantalla.
El resultado de la tarea. Terminó, terminó con dificultad o falló. Ese único campo carga la mayor parte del análisis después.
La cita. Una frase corta con las palabras del participante, al lado de la acción que explica.
La expectativa. Lo que la persona dijo que esperaba ver antes de actuar. La distancia entre expectativa y pantalla es el hallazgo.
La gravedad. Si eso bloquea la tarea, si cuesta tiempo, o si es cosmético. Ordena por ese campo, no por el volumen del reclamo.
El contraejemplo. Registra a quien pasó sin problemas, o vas a rediseñar para la persona que habló más fuerte.
La marca de tiempo. Si la sesión se graba, el time code convierte una memoria vaga en un fragmento que reproduces para el equipo.

Un moderador y un anotador es la división práctica. El kit del DHS (en inglés) pone un moderador en la sala y es él quien toma notas. Un segundo observador captura los momentos que el moderador pierde mientras habla.

Cómo convertir un hallazgo en decisión

Agrupa por problema, no por participante. Tres personas chocando con la misma pared es un problema con conteo tres, y ese conteo es tu estimación de frecuencia.
Ordena por gravedad por frecuencia. Un bloqueo visto una vez va antes que un detalle cosmético visto cinco veces.
Decide cada ítem de una de tres formas: lo corriges, lo aplazas con motivo escrito, o lo aceptas como trade-off. El motivo escrito es lo que evita el mismo debate el próximo trimestre.
Corrige los bloqueos en el rediseño y mantén el resto de la lista visible. Un hallazgo que sale de la sala y no entra en ningún backlog es un hallazgo pagado y tirado.
Prueba la corrección con un grupo nuevo de cinco. El artículo de 2000 (en inglés) es explícito al decir que un rediseño es una afirmación y no una prueba, y que una segunda ronda verifica la afirmación.
Guarda los contraejemplos en el informe. Marcan las partes del producto que ya funcionan y que no se deben tocar.

La regla sobrevive porque la alternativa es peor. Cinco participantes, una tarea real y un moderador que se queda callado producen más decisiones de usabilidad por hora que quince participantes respondiendo a un guion inductor. El número no es el método. La tarea y el guion son el método.

Un argumento parecido sobre elegir la capa que ya carga el comportamiento está en el post sobre HTML semántico. Una nota sobre probar la decisión antes de construirla está en el post sobre checkout.

Donde el Nielsen Norman Group diverge

El propio NN/g no se queda con un solo número. El artículo de 2000 (en inglés) enuncia la regla fija, y el seguimiento de 2012 (en inglés) la suaviza. Para proyectos de costo fijo bajo, el artículo de 2012 pone el óptimo en dos usuarios por estudio. También relata que el propio NN/g solía correr cerca de ocho usuarios en consultoría. Discount Usability: 20 Years (en inglés) agrega que la recomendación de 1989 era tres usuarios, y que Nielsen pasó a cinco como un acuerdo práctico.

Los números cuantitativos también se mueven. El artículo de 2006 (en inglés) trata 20 usuarios como suficientes para un margen de error cercano al 19%. En cambio, el artículo de 2021 (en inglés) pone los intervalos de confianza estrechos en 40 participantes o más. Este post toma la regla cualitativa como asentada y lee los dos números cuantitativos como un rango.