Tamaño de muestra en test A/B: significancia y parada

Un test A/B compara dos versiones de la misma página o del mismo flujo bajo las mismas condiciones, y mide una diferencia que nombraste antes de empezar. Responde si la distancia que viste es mayor que el ruido de tu tráfico. No responde por qué existe esa distancia, y no resuelve un efecto pequeño en una muestra pequeña.

Qué responde un test A/B y qué no responde

Un test responde una pregunta: con este tráfico, la versión B es mejor que la versión A en la métrica que elegí. Todo lo demás es una segunda pregunta vestida con los mismos datos.

Lo que un test responde bien:

Una decisión de dirección sobre una métrica única, con tasa de error declarada.
Si un cambio que vale la pena desplegar aparece en el comportamiento.
Cuál de las dos versiones gana cuando la distancia es lo bastante grande para verla.

Lo que un test no responde:

Por qué funcionó el cambio. El test reporta la distancia, no la causa.
Si el cambio funciona en otro público, otra estación u otro canal. La muestra salió del tráfico que tenías.
Qué pasa a lo largo de meses. La mayoría de los tests corre por días, y la novedad de un layout nuevo se apaga.
Si un efecto pequeño importa. Eso es pregunta de negocio y no de estadística.
Nada sobre una métrica que no mediste antes de que el test empezara.

Somit Gupta, Pavel Dmitriev, Garnet Vaz y Dong Woo Kim, de Microsoft, publicaron A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments (en inglés) en KDD 2017. El artículo parte de miles de experimentos corridos en la empresa y lista doce formas de leer mal el movimiento de una métrica. Los autores afirman que una lectura equivocada puede costarle millones de dólares al negocio. El test rara vez es el eslabón débil. La lectura sí.

Cómo calcular la muestra a partir del efecto que se quiere detectar

Cuatro entradas deciden la muestra, y las cuatro son declaraciones que haces antes de que el test corra.

La tasa base. La tasa de conversión que tu versión actual ya produce.
El efecto mínimo detectable. El cambio más pequeño que todavía te haría actuar. La calculadora de Evan Miller (en inglés) lo define como “the smallest effect that will be detected (1-β)% of the time”.
El poder, escrito como 1−β. La misma página lo define como “the percent of the time the minimum effect size will be detected, assuming it exists”.
El nivel de significancia, escrito como α. Miller lo define como “the percent of the time a difference will be detected, assuming one does NOT exist”.

La regla práctica de Miller para la cuenta es n = 16σ²/δ², donde δ es el efecto mínimo que quieres detectar y σ² es la varianza esperada. Su calculadora de tamaño de muestra (en inglés) aplica la misma lógica a una tasa de conversión, con la tasa base, el efecto, el poder y el alfa como entradas.

El costo de un efecto menor es tráfico, y el costo no es lineal. La fórmula lo carga: n va con el inverso del cuadrado del efecto, así que cortar el efecto a la mitad cuadruplica la muestra. La calculadora de Miller muestra la escala. Su ejemplo por defecto, tasa base de 10,2% con efecto relativo entre 10,2% y 13,2%, devuelve 2.545 sujetos por variación (Evan Miller (en inglés)).

La calculadora también imprime una banda gris alrededor de la tasa base, y es en esa banda donde falla la mayoría de los programas. Las tasas dentro de ella no serán distinguibles de la tasa base. El glosario de Optimizely sobre significancia estadística (en inglés) enumera tres motivos por los que un test nunca llega a la significancia. El cambio era demasiado pequeño, la tasa base era demasiado baja, o el equipo midió demasiadas metas a la vez. Cada causa es un problema de dimensionamiento y no de estadística.

Qué significa la significancia y qué no garantiza

La significancia es una afirmación sobre el ruido, no sobre el tamaño de la ganancia. El glosario de Optimizely (en inglés) la define como la medida de cuán inusual sería tu resultado si no hubiera diferencia real y la distancia viniera solo del azar. El glosario de VWO (en inglés) dice la misma regla desde el lado frecuentista: el resultado es significativo cuando el p-valor queda por debajo del nivel de significancia elegido antes, normalmente 0,05.

Un resultado significativo dice lo siguiente. Si las dos versiones fueran idénticas, una distancia de este tamaño aparecería en menos del 5% de las veces. No dice que la distancia sea grande, ni permanente, ni causada por tu cambio (Optimizely (en inglés)).

Esa definición tiene tres límites.

El límite es convención y no ley. El glosario de VWO (en inglés) llama a 0,05 el estándar sugerido de la industria, y no un valor derivado de los datos.
La significancia cubre una sola métrica. Optimizely (en inglés) lista demasiadas metas como causa común de un test que nunca llega al límite. Mide diez métricas al 5% cada una y el falso ganador está garantizado por construcción.
El número depende de que la muestra se haya fijado antes. La nota de Evan Miller de 2010 (en inglés) dice esa premisa sin rodeos y agrega que es la premisa que la mayoría de los equipos viola sin darse cuenta.

Las dos escuelas estadísticas también reportan números distintos para el mismo test, y eso conviene saberlo antes de comparar herramientas. El glosario de VWO (en inglés) trae la lectura frecuentista bajo la línea de 0,05, y el glosario de Optimizely (en inglés) trae el mismo límite desde el lado de la herramienta. La plataforma de VWO (en inglés) trabaja en el marco bayesiano y reporta la Probabilidad de Ser la Mejor con límite del 95%, más un valor de Pérdida Potencial. Un p-valor frecuentista y una probabilidad bayesiana no son la misma cantidad, y cambiar de herramienta puede mover el resultado de lado.

Por qué espiar y parar temprano invalida la lectura

Este es el error más común, y la cuenta lo explica mejor que cualquier sermón sobre disciplina.

La nota de Miller How Not To Run an A/B Test (en inglés), publicada en abril de 2010, recorre el problema. El cálculo de significancia asume que el tamaño de la muestra se fijó antes de que el test empezara. Si en cambio dices “vamos a correrlo hasta ver una diferencia significativa”, todo nivel de significancia reportado pierde sentido.

Su ejemplo vuelve concreto el tamaño del error. Toma una tasa de conversión del 50% y para apenas el test toque 5% de significancia, o ciérralo después de 150 observaciones. Si el cambio no hace nada, el test igual reporta un resultado significativo el 26,1% de las veces. Eso es más de cinco veces el 5% de error que creías haber comprado (Evan Miller (en inglés)).

Cada vistazo empeora el daño. La tabla de Miller da el límite reportado que necesitarías para mantener una tasa de error real del 5% (Evan Miller (en inglés)):

Espiar una vez: 2,9% de significancia reportada.
Espiar dos veces: 2,2%.
Espiar tres veces: 1,8%.
Espiar cinco veces: 1,4%.
Espiar diez veces: 1,0%.

Testear la significancia una y otra vez mueve el error en una sola dirección. Crea falsos positivos. No esconde efectos reales.

La primera corrección es una regla fijada antes del test. El consejo de Miller es decidir la muestra con antelación y esperar a que el experimento termine antes de creerle al panel. Mirar los datos está bien. Parar por causa de ellos, no.

Existe una segunda corrección para el equipo que necesita mirar todos los días. Ramesh Johari, Pete Koomen, Leonid Pekelis y David Walsh escribieron Always Valid Inference: Bringing Sequential Analysis to A/B Testing (en inglés), el trabajo detrás de los métodos secuenciales actuales. Evan Miller documenta una versión más simple en su nota sobre tests secuenciales (en inglés). Los autores afirman que los p-valores y los intervalos de confianza frecuentistas son del todo poco confiables cuando el usuario elige el tamaño de muestra monitoreando el test sin parar. Definen p-valores e intervalos siempre válidos, que siguen correctos en cada mirada, y el método corrió en una plataforma comercial en cientos de miles de experimentos. Si tu herramienta reporta intervalo secuencial o siempre válido, mirar todos los días está permitido. Si reporta un p-valor simple, no lo está.

Duración, calendario y qué limita de verdad a un test

El tamaño de muestra no es un plazo. Dos semanas de tráfico y dos días de tráfico pueden cargar el mismo número de visitantes, y no son el mismo test.

La mezcla de tráfico se mueve con el calendario. Una mañana de día hábil y un domingo por la noche traen personas distintas, con intención distinta. Un test que corre de lunes a miércoles mide un público de lunes a miércoles, y el resultado pertenece a esa ventana y no al mes.

La herramienta del propio Google se acabó, y eso quitó un estándar en el que muchos equipos se apoyaban. Google Optimize y Optimize 360 dejaron de existir el 30 de septiembre de 2023, según la página de ayuda de Analytics sobre el cierre. Google ahora apunta a integraciones con Optimizely, VWO y AB Tasty. Firebase A/B Testing, que usaba la infraestructura de Optimize para la inferencia, pasó a usar inferencia frecuentista en los experimentos iniciados el 23 de octubre de 2023 o después.

La documentación del propio Firebase trae una posición que conviene conocer, porque contradice la regla de muestra fija. Su inferencia no exige un tamaño mínimo de muestra antes de que el experimento empiece, y la recomendación es elegir el mayor nivel de exposición con el que te sientas cómodo. La misma página agrega que las muestras más grandes aumentan la probabilidad de un resultado significativo, sobre todo cuando las variantes difieren poco. Remite a una calculadora de tamaño de muestra (en inglés) para el número recomendado.

Hay una restricción más de duración que viene de la herramienta y no de la estadística. Firebase observa que un público nuevo de Google Analytics puede tardar de 24 a 48 horas en acumular usuarios. Los usuarios que cumplen los criterios también tardan de 24 a 48 horas en entrar. Un test que arranca sobre un público nuevo gasta su primer día midiendo un grupo que todavía se está llenando.

Ese último número es el mínimo real. Una herramienta que inscribe un público nuevo a lo largo de dos días no se puede leer antes de que el público exista. La cuenta de sujetos es de lo que siempre se trató el cálculo de tamaño de muestra.

Significancia estadística contra relevancia práctica

Un efecto real puede ser demasiado pequeño para importar, y el test de significancia no te avisa.

La significancia responde si la distancia se distingue del ruido. No dice nada sobre si la distancia vale el tiempo de ingeniería, el costo de migración y la carga de soporte. Una ganancia demasiado pequeña para pagar la construcción igual puede ser significativa cuando el tráfico es lo bastante grande.

El Nielsen Norman Group traza la línea en Significancia práctica contra significancia estadística (en inglés), y los números de la página vuelven el problema difícil de olvidar.

Una ganancia de 1,00% a 1,10% con 6.000 usuarios da p = 0,03. El resultado es significativo por el límite de siempre e irrelevante para el negocio (NN/g (en inglés)).
Una ganancia de 20,0% a 85,0% con 8 usuarios da p = 0,37. El resultado no es significativo y el efecto es enorme (NN/g (en inglés)).

La lectura que funciona es una segunda cuenta encima del test. Toma el efecto observado, conviértelo a la unidad que tu negocio ya usa y compáralo con el costo de publicar. Si la ganancia no cubre el costo, el resultado es real y el cambio no vale la pena.

Dos hábitos mantienen limpia la lectura.

Declara el efecto más pequeño que justificaría publicar antes del test, que es el mismo número que usaste para el tamaño de muestra.
Reporta el intervalo de confianza junto con el ganador. Un intervalo ancho alrededor de una estimación positiva es una señal de que falta tráfico, no una luz verde.

Cómo registrar el resultado para no repetir el test equivocado

Un test que termina sin registro escrito lo vuelve a correr otra persona el trimestre siguiente. El registro es lo que queda.

Escribe la hipótesis, la métrica y la muestra declarada antes de correr nada. La declaración es lo que vuelve significativo al p-valor posterior.
Guarda la regla de decisión, incluido el punto de parada, junto al test. Una regla que vive en la memoria de alguien no es una regla.
Registra el resultado, sea el que sea. Un resultado neutro es un hallazgo y cierra una pregunta.
Anota la ventana, el público y la fuente del tráfico. Un resultado sin su ventana no se puede comparar con el siguiente.
Escribe el veredicto práctico al lado del estadístico: se publica, no se publica, o falta más tráfico (en inglés). Ese tercer veredicto es el que describe el artículo Establishing a Baseline, donde el equipo sigue midiendo hasta que la línea base queda lo bastante estable para comparar.
Anota los factores de confusión que estaban presentes, como una campaña, un feriado, un release o un error de medición (en inglés). El Nielsen Norman Group reúne esos factores bajo variables de confusión en investigación cuantitativa de UX.
Mantén la lista de lo que se testeó donde la próxima persona lo vaya a leer. El valor de un resultado nulo es que impide la repetición.

El método es viejo y el modo de falla también. Fija la muestra antes de empezar, lee la significancia como una afirmación sobre el ruido y escribe lo que encontraste. El test es barato. Repetir el mismo test equivocado durante un año no lo es.

Dos lecturas más cubren el tamaño del grupo. How Many Participants for Quantitative Usability Studies (en inglés) da la cuenta que necesita un estudio cuantitativo, y A/B Testing (en inglés) dice dónde el método es débil.

Donde el Nielsen Norman Group no cuenta una sola historia

Los artículos del Nielsen Norman Group no coinciden sobre muestras grandes, y vale mostrar dónde difieren.

El artículo de 2005 sobre estudios cuantitativos (en inglés) trata una muestra grande como ventaja. Dice que, con un número muy grande de usuarios, el equipo detecta una diferencia del 1% con alta significancia. En esa lectura, el tamaño de la muestra es lo que compra precisión.

El artículo de 2024 sobre test A/B (en inglés) usa el mismo volumen de tráfico como limitación. Afirma que el método exige miles de usuarios, y que por eso el test A/B encaja mal en una página de tráfico bajo. El mismo volumen que lee como ventaja en un artículo es la restricción en el otro.

Significancia práctica contra significancia estadística (en inglés) muestra el otro lado, y es el que hay que guardar. Un resultado puede ser significativo e inútil a la vez, y el ejemplo de la propia página es una ganancia de 85,0% a 85,2% con p = 0,03. La distancia es real por el límite de siempre y es demasiado pequeña para que cualquier negocio actúe. El artículo también muestra lo inverso: una diferencia de 20,0% a 85,0% con 8 usuarios y p = 0,37 es grande y aun así no es significativa.

La posición de este post es la más estrecha. Una muestra grande compra precisión y nada más, y la precisión solo vale la pena cuando el efecto vale ser detectado. Putting A/B Testing in Its Place (en inglés) llega a una conclusión compatible desde el lado del método.

Fuentes

Dos notas relacionadas están en el post sobre test de usabilidad, que cubre el piso cualitativo, y en el post sobre checkout, que cubre decidir antes de construir.