Optimizely Intelligence Cloud: cómo utilizar el motor de estadísticas para realizar pruebas A / B de forma más inteligente y rápida

Optimizely Stats Engine y estrategias de prueba A / B

Si está buscando ejecutar un programa de experimentación para ayudar a su empresa a probar y aprender, es probable que esté utilizando Optimizely Intelligence Cloud - o al menos lo has mirado. Optimizely es una de las herramientas más poderosas del juego, pero como cualquier otra herramienta de este tipo, es posible que la uses mal si no entiendes cómo funciona. 

¿Qué hace a Optimizely tan poderoso? En el núcleo de su conjunto de características se encuentra el motor de estadísticas más informado e intuitivo en una herramienta de terceros, lo que le permite concentrarse más en obtener pruebas importantes en vivo, sin necesidad de preocuparse de que esté malinterpretando sus resultados. 

Al igual que un estudio ciego tradicional en medicina, pruebas A/B mostrará aleatoriamente diferentes Ofrecemos tratamientos en South Miami para igualar el color de su tez de su sitio a diferentes usuarios para luego comparar la eficacia de cada tratamiento. 

Luego, las estadísticas nos ayudan a hacer inferencias sobre qué tan efectivo puede ser ese tratamiento a largo plazo. 

La mayoría de las herramientas de prueba A / B se basan en uno de dos tipos de inferencia estadística: estadísticas frecuentes o bayesianas. Cada escuela tiene varios pros y contras: las estadísticas frecuentes requieren que se fije un tamaño de muestra antes de ejecutar un experimento, y las estadísticas bayesianas se preocupan principalmente por tomar buenas decisiones direccionales en lugar de especificar una sola cifra para el impacto, por nombrar dos ejemplos. El superpoder de Optimizely es que es la única herramienta en el mercado hoy en día para tomar un Lo mejor de ambos mundos enfoque.

¿El final resulto? Optimizely permite a los usuarios ejecutar experimentos de forma más rápida, fiable e intuitiva.

Sin embargo, para aprovechar al máximo eso, es importante comprender lo que sucede detrás de escena. Aquí hay 5 ideas y estrategias que lo ayudarán a utilizar las capacidades de Optimizely como un profesional.

Estrategia n. ° 1: Comprenda que no todas las métricas son iguales

En la mayoría de las herramientas de prueba, un problema que comúnmente se pasa por alto es que cuantas más métricas agregue y realice un seguimiento como parte de su prueba, más probabilidades tendrá de ver algunas conclusiones incorrectas debido al azar (en estadísticas, esto se denomina el "problema de prueba múltiple ”). Para mantener la confiabilidad de sus resultados, Optimizely utiliza una serie de controles y correcciones para mantener las probabilidades de que eso suceda lo más bajo posible. 

Esos controles y correcciones tienen dos implicaciones cuando configura pruebas en Optimizely. Primero, la métrica que designa como su Métrica principal alcanzará la significación estadística más rápido, todo lo demás constante. En segundo lugar, cuantas más métricas agregue a un experimento, más tardarán las métricas posteriores en alcanzar significación estadística.

Al planificar un experimento, asegúrese de saber qué métrica será su verdadero norte en su proceso de toma de decisiones, conviértala en su métrica principal. Luego, mantenga el resto de su lista de métricas esbelta eliminando todo lo que sea demasiado superfluo o tangencial.

Estrategia n. ° 2: Cree sus propios atributos personalizados

Optimizely es excelente para brindarle varias formas interesantes y útiles de segmentar los resultados de su experimento. Por ejemplo, puede examinar si ciertos tratamientos funcionan mejor en computadoras de escritorio que en dispositivos móviles, u observar diferencias entre las fuentes de tráfico. Sin embargo, a medida que su programa de experimentación madure, deseará rápidamente nuevos segmentos; estos pueden ser específicos para su caso de uso, como segmentos para compras únicas frente a compras de suscripción, o tan generales como "visitantes nuevos frente a visitantes recurrentes" (que, francamente, todavía no podemos entender por qué no se proporciona de fábrica).

La buena noticia es que a través del campo Project Javascript de Optimizely, los ingenieros familiarizados con Optimizely pueden crear cualquier cantidad de atributos personalizados interesantes que los visitantes puedan ser asignados y segmentados. En Cro Metrics, hemos creado una serie de módulos de stock (como "visitantes nuevos frente a visitantes recurrentes") que instalamos para todos nuestros clientes a través de su proyecto Javascript. Aprovechar esta capacidad es un diferenciador clave entre los equipos maduros que tienen los recursos técnicos adecuados para ayudarlos a ejecutar y los equipos que luchan por aprovechar todo el potencial de la experimentación.

Estrategia n. ° 3: Explore el acelerador de estadísticas de Optimizely

Una característica de la herramienta de prueba que a menudo se exagera es la capacidad de usar "bandidos de múltiples brazos", un tipo de algoritmo de aprendizaje automático que cambia dinámicamente dónde se asigna su tráfico durante el transcurso de un experimento, para enviar la mayor cantidad de visitantes al "ganador". variación como sea posible. El problema con los bandidos con múltiples armas es que sus resultados no son indicadores fiables del rendimiento a largo plazo, por lo que el caso de uso de este tipo de experimentos se limita a casos urgentes como promociones de ventas.

Optimizely, sin embargo, tiene un tipo diferente de algoritmo de bandidos disponible para los usuarios en planes superiores: Stats Accelerator (ahora conocido como la opción "Acelerar aprendizajes" dentro de Bandits). En esta configuración, en lugar de intentar asignar dinámicamente el tráfico a la variación de mayor rendimiento, Optimizely asigna dinámicamente el tráfico a las variaciones con más probabilidades de alcanzar la significación estadística más rápido. De esta manera, puede aprender más rápido y conservar la replicabilidad de los resultados de las pruebas A / B tradicionales.

Estrategia n. ° 4: agregue emojis a sus nombres de métricas

A primera vista, esta idea probablemente suene fuera de lugar, incluso absurda. Sin embargo, un aspecto clave para asegurarse de que está leyendo los resultados correctos del experimento comienza por asegurarse de que su audiencia pueda entender la pregunta. 

A veces, a pesar de nuestros mejores esfuerzos, los nombres de las métricas pueden volverse confusos (espere, ¿se activa esa métrica cuando se acepta el pedido o cuando el usuario accede a la página de agradecimiento?), O un experimento tiene tantas métricas que desplazan los resultados hacia arriba y hacia abajo. página conduce a una sobrecarga cognitiva total.

Agregar emojis a los nombres de sus métricas (objetivos, marcas de verificación verdes, incluso la bolsa de dinero grande podría funcionar) puede resultar en páginas que son mucho más escaneables. 

Confíe en nosotros: leer los resultados le resultará mucho más fácil.

Estrategia n. ° 5: Vuelva a considerar su nivel de significación estadística

Los resultados se consideran concluyentes en el contexto de un experimento Optimizely cuando alcanzan significancia estadística. La significancia estadística es un término matemático difícil, pero esencialmente es la probabilidad de que sus observaciones sean el resultado de una diferencia real entre dos poblaciones, y no solo una probabilidad aleatoria. 

Los niveles de significancia estadística reportados por Optimizely son "siempre válidos" gracias a un concepto matemático llamado prueba secuencial - esto en realidad los hace mucho más confiables que los de otras herramientas de prueba, que son propensas a todo tipo de problemas de "asomarse" si las lee demasiado pronto.

Vale la pena considerar qué nivel de significación estadística considera importante para su programa de pruebas. Si bien el 95% es la convención en la comunidad científica, estamos probando cambios en el sitio web, no vacunas. Otra opción común en el mundo experimental: 90%. Pero, ¿está dispuesto a aceptar un poco más de incertidumbre para realizar experimentos más rápido y probar más ideas? ¿Podría estar usando una significación estadística del 85% o incluso del 80%? Ser intencional sobre su equilibrio riesgo-recompensa puede pagar dividendos exponenciales con el tiempo, así que piénselo detenidamente.

Leer más sobre Optimizely Intelligence Cloud

Estos cinco principios y conocimientos rápidos serán increíblemente útiles para tener en cuenta al usar Optimizely. Al igual que con cualquier herramienta, todo se reduce a asegurarse de que comprende bien todas las personalizaciones detrás de escena, para que pueda asegurarse de que está utilizando la herramienta de manera eficiente y efectiva. Con estos conocimientos, puede obtener los resultados confiables que busca, cuando los necesita. 

¿Qué piensas?

Este sitio usa Akismet para reducir el correo no deseado. Descubra cómo se procesan los datos de sus comentarios.