Optimizely Intelligence Cloud: Com utilitzar el motor d’estadístiques per provar A / B de manera més intel·ligent i ràpida

Estratègies de prova de motors optimitzats i A / B

Si voleu executar un programa d’experimentació que us ajudi a provar i aprendre el vostre negoci, és probable que el feu servir Optimizely Intelligence Cloud - o almenys ho heu mirat. Optimizely és una de les eines més potents del joc, però, com qualsevol altra eina, és possible que la feu servir malament si no enteneu com funciona. 

Què fa que Optimizely sigui tan poderós? Al nucli del seu conjunt de funcions es troba el motor d’estadístiques més informat i intuïtiu d’una eina de tercers, que us permetrà centrar-vos més en la realització de proves importants en directe, sense necessitat de preocupar-vos que estigueu malinterpretant els vostres resultats. 

Igual que un estudi tradicional de cecs en medicina, Les proves A / B es mostrarà a l'atzar diferent tractaments del vostre lloc amb diferents usuaris per comparar l'eficàcia de cada tractament. 

Les estadístiques ens ajuden a fer inferències sobre l’eficàcia d’aquest tractament a llarg termini. 

La majoria d’eines de proves A / B es basen en un dels dos tipus d’inferència estadística: estadístiques freqüentistes o bayesianes. Cada escola té diversos avantatges i desavantatges: les estadístiques freqüentistes requereixen fixar la mida de la mostra abans de fer un experiment, i les estadístiques bayesianes es preocupen principalment per prendre bones decisions direccionals en lloc d’especificar qualsevol xifra d’impacte, per posar dos exemples. La superpotència d’Optimizely és que és l’única eina del mercat actual que pren un el millor dels dos mons enfocament.

El resultat final? De manera optimitzada, permet als usuaris executar experiments de manera més ràpida, fiable i intuïtiva.

Per aprofitar-ho al màxim, però, és important entendre què passa entre bastidors. A continuació, es detallen 5 estadístiques i estratègies que us permetran utilitzar les capacitats d’Optimizely com a professionals.

Estratègia núm. 1: Compreneu que no totes les mètriques es creen iguals

A la majoria d’eines de proves, un problema que s’oblida habitualment és que, com més mètriques afegiu i feu un seguiment com a part de la prova, més probabilitats teniu de veure algunes conclusions incorrectes a causa de l’atzar (a les estadístiques, això s’anomena “problema de proves múltiples”) ”). Per mantenir els seus resultats fiables, Optimizely utilitza una sèrie de controls i correccions per mantenir les probabilitats que això passi el més baix possible. 

Aquests controls i correccions tenen dues implicacions quan configureu proves a Optimizely. En primer lloc, la mètrica que designeu com a vostra Mètrica primària assolirà la significació estadística més ràpidament, totes les altres coses seran constants. En segon lloc, com més mètriques afegiu a un experiment, més tardaran les mètriques posteriors a assolir la significació estadística.

Quan planifiqueu un experiment, assegureu-vos de saber quina mètrica serà el vostre nord vertader en el procés de presa de decisions, feu que sigui la vostra mètrica principal. A continuació, mantingueu la resta de la vostra llista de mètriques traient tot allò que sigui massa superflu o tangencial.

Estratègia núm. 2: Creeu els vostres propis atributs personalitzats

Optimizely és ideal per oferir-vos diverses maneres interessants i útils de segmentar els resultats de l'experiment. Per exemple, podeu examinar si certs tractaments tenen un millor rendiment en ordinadors o en dispositius mòbils o si observeu diferències entre les fonts de trànsit. Però, a mesura que maduri el vostre programa d’experimentació, desitgeu ràpidament nous segments; poden ser específics per al vostre cas d’ús, com ara segments per a compres puntuals o per subscripció, o tan generals com “visitants nous contra visitants recurrents” (que, Francament, encara no podem esbrinar per què no es proporciona això fora de la caixa).

La bona notícia és que, mitjançant el camp Project Javascript d'Optimizely, els enginyers familiaritzats amb Optimizely poden crear qualsevol nombre d'interessats atributs personalitzats als quals els visitants poden assignar-se i segmentar-los. A Cro Metrics, hem creat diversos mòduls d’estoc (com ara “visitants nous i recurrents”) que instal·lem per a tots els nostres clients mitjançant el seu Project Javascript. L’aprofitament d’aquesta habilitat és un diferencial clau entre equips madurs que disposen dels recursos tècnics adequats per ajudar-los a executar-se i equips que lluiten per assolir tot el potencial de l’experimentació.

Estratègia núm. 3: Exploreu Stats Accelerator d'Optimizely

Una de les eines de proves sovint sobreexpressades és la possibilitat d’utilitzar “bandits multi-armats”, un tipus d’algoritme d’aprenentatge automàtic que canvia dinàmicament allà on s’assigna el trànsit al llarg d’un experiment, per enviar tants visitants als “guanyadors”. variació possible. El problema amb els bandits multi-armats és que els seus resultats no són indicadors fiables de rendiment a llarg termini, de manera que el cas d’ús d’aquest tipus d’experiments es limita a casos sensibles al temps, com ara promocions de vendes.

Tanmateix, de manera òptima, hi ha un tipus diferent d’algoritme de bandits disponible per als usuaris de plans superiors: Stats Accelerator (ara coneguda com l’opció “Accelerate Learning” a Bandits). En aquesta configuració, en lloc d’intentar assignar el trànsit de manera dinàmica a la variació de millor rendiment, Optimizely assigna dinàmicament el trànsit a les variacions amb més probabilitats d’assolir la importància estadística més ràpidament. D'aquesta manera, podeu aprendre més ràpidament i conservar la replicabilitat dels resultats tradicionals de les proves A / B.

Estratègia núm. 4: afegiu emojis als vostres noms mètrics

A primera vista, aquesta idea probablement sona fora de lloc, fins i tot inana. Tanmateix, un aspecte clau per assegurar-vos que llegiu els resultats de l’experiment adequats comença per assegurar-vos que el vostre públic pugui entendre la pregunta. 

De vegades, malgrat els nostres esforços, els noms de les mètriques poden esdevenir confusos (espereu: aquesta mètrica s’activa quan s’accepta la comanda o quan l’usuari accedeix a la pàgina d’agraïment?), O si un experiment té tantes mètriques que fan desplaçar-se cap amunt i cap avall dels resultats la pàgina provoca una sobrecàrrega cognitiva total.

Si afegiu emojis als vostres noms de mètriques (objectius, marques de verificació verdes, fins i tot la bossa de diners gran pot funcionar), es pot obtenir pàgines molt més escanejables. 

Confieu en nosaltres: llegir els resultats us resultarà molt més fàcil.

Estratègia núm. 5: Torneu a considerar el vostre nivell de significació estadística

Els resultats es consideren concloents en el context d’un experiment Optimizely quan han arribat significació estadística. La significació estadística és un terme matemàtic difícil, però bàsicament és la probabilitat que les vostres observacions siguin el resultat d’una diferència real entre dues poblacions i no només de l’atzar. 

Els nivells de significació estadística reportats per Optimizely són "sempre vàlids" gràcies a un concepte matemàtic anomenat proves seqüencials - Això en realitat els fa molt més fiables que els d'altres eines de prova, que són propensos a tot tipus de qüestions de "mirades" si les llegiu massa aviat.

Val la pena considerar quin nivell de significació estadística creieu important per al vostre programa de proves. Tot i que el 95% és la convenció de la comunitat científica, estem provant els canvis del lloc web, no les vacunes. Una altra opció habitual en el món experimental: el 90%. Però, esteu disposats a acceptar una mica més d’incertesa per fer experiments més ràpidament i provar més idees? Podríeu utilitzar un 85% o fins i tot un 80% de significació estadística? El fet de ser intencionat sobre el vostre saldo entre la recompensa i el risc pot generar dividends exponencials amb el pas del temps, així que penseu-ho bé.

Més informació sobre Optimizely Intelligence Cloud

Aquests cinc principis i idees ràpids seran molt útils per tenir-los en compte mentre utilitzeu Optimizely. Com passa amb qualsevol eina, es tracta d’assegurar-se que es té una bona comprensió de totes les personalitzacions del darrere de les escenes, de manera que es pot assegurar que s’utilitza l’eina de manera eficient i eficaç. Amb aquestes comprensions, podeu obtenir els resultats fiables que busqueu quan els necessiteu. 

Què et sembla?

Aquest lloc utilitza Akismet per reduir el correu no desitjat. Esbrineu com es processa el vostre comentari.