Optimally Intelligence Cloud: hoe om die statistiek -enjin te gebruik om slimmer en vinniger te toets

Optimisties statistiek vir enjin- en A/B -toetsstrategieë

As u 'n eksperimentasieprogram wil uitvoer om u besigheid te help toets en leer, is die kans goed dat u dit gebruik Optimally Intelligence Cloud - of jy het ten minste daarna gekyk. Optimizely is een van die kragtigste instrumente in die spel, maar soos enige ander instrument, kan u dit verkeerd gebruik as u nie verstaan ​​hoe dit werk nie. 

Wat maak Optimizely so kragtig? Die kern van die funksieset lê die mees ingeligte en intuïtiewe statistiek-enjin in 'n derdeparty-instrument, sodat u meer kan fokus op die lewering van belangrike toetse-sonder om bekommerd te wees dat u u resultate verkeerd interpreteer. 

Net soos 'n tradisionele blinde studie in medisyne, A / B-toets sal lukraak anders wys behandelings van u webwerf aan verskillende gebruikers om dan die doeltreffendheid van elke behandeling te vergelyk. 

Statistieke help ons dan om afleidings te maak oor hoe effektief die behandeling op lang termyn kan wees. 

Die meeste A/B -toetsinstrumente maak staat op een van twee tipes statistiese afleidings: Frequentistiese of Bayesiaanse statistieke. Elke skool het verskillende voor- en nadele - Die frekwensistiese statistieke vereis dat 'n steekproef vasgestel word voordat 'n eksperiment uitgevoer word, en Bayesiaanse statistieke gee veral om goeie rigtinggewende besluite, eerder as om 'n enkele figuur vir impak te noem, om twee voorbeelde te noem. Die supermoondheid van Optimizely is dat dit die enigste hulpmiddel op die mark is om vandag 'n die beste van albei wêrelde benadering.

Die eindresultaat? Gebruikers kan optimaal eksperimente vinniger, meer betroubaar en intuïtief uitvoer.

Om dit ten volle te benut, is dit egter belangrik om te verstaan ​​wat agter die skerms gebeur. Hier is 5 insigte en strategieë waarmee u Optimizely se funksies soos 'n pro kan gebruik.

Strategie #1: Hou in gedagte dat nie alle statistieke gelyk is nie

In die meeste toetsinstrumente is 'n probleem wat gereeld oor die hoof gesien word: hoe meer statistieke u byvoeg en byhou as deel van u toets, hoe groter is die kans dat u verkeerde gevolgtrekkings sien as gevolg van 'n toevallige kans (in statistieke word dit die 'meervoudige toetsprobleem' genoem) ”). Om die resultate betroubaar te hou, gebruik Optimizely 'n reeks kontroles en regstellings om die kans so laag as moontlik te hou. 

Hierdie kontroles en regstellings het twee implikasies as u toetse in Optimizely gaan opstel. Eerstens, die metriek wat u as u aanwys Primêre metrieke sal die statistiese betekenisvolheid die vinnigste bereik, al die ander dinge konstant. Tweedens, hoe meer statistieke u by 'n eksperiment voeg, hoe langer sal u latere statistieke neem om statistiese betekenis te bereik.

As u 'n eksperiment beplan, Maak seker dat u weet watter maatstaf u ware noord sal wees in u besluitnemingsproses, maak dit u primêre metriek. Hou dan die res van u statistieklys leun deur alles wat te oorbodig of raakvatbaar is, te verwyder.

Strategie #2: Bou u eie eienskappe

Optimizely bied u verskeie interessante en nuttige maniere om u eksperimentresultate te segmenteer. U kan byvoorbeeld ondersoek of sekere behandelings beter werk op desktop as mobiele toestelle, of om verskille tussen verkeersbronne waar te neem. Namate u eksperimenteringsprogram egter volwasse word, wens u vinnig nuwe segmente-dit kan spesifiek wees vir u gebruik, soos segmente vir eenmalige aankope teenoor intekening, of so algemeen as "nuwe versus terugkerende besoekers" (wat, eerlik, ons kan nog steeds nie uitvind hoekom dit nie uit die doos voorsien word nie).

Die goeie nuus is dat ingenieurs wat vertroud is met Optimizely via Optimizely se Project Javascript -veld 'n aantal interessante pasgemaakte kenmerke kan bou waarmee besoekers toegewys en gesegmenteer kan word. By Cro Metrics het ons 'n aantal voorraadmodules (soos 'nuwe versus terugkerende besoekers') gebou wat ons vir al ons kliënte kan installeer via hul Project Javascript. Die benutting van hierdie vermoë is 'n belangrike onderskeid tussen volwasse spanne wat oor die regte tegniese hulpbronne beskik om hulle uit te voer, en spanne wat sukkel om die volle potensiaal van eksperimentering te verwesenlik.

Strategie #3: Verken Optimizely se statistiekeversneller

Een van die toetshulpmiddels wat dikwels oorverhit is, is die vermoë om 'multi-gewapende bandiete' te gebruik, 'n tipe masjienleer-algoritme wat dinamies verander waar u verkeer tydens 'n eksperiment toegewys word, om soveel besoekers na die 'wen' te stuur variasie as moontlik. Die probleem met meerarmige bandiete is dat die resultate daarvan nie betroubare aanduidings is vir langtermynprestasie nie, dus is die gebruiksgeval vir hierdie soort eksperimente beperk tot tydsensitiewe gevalle soos verkoopspromosies.

Maar optimisties het 'n ander tipe bandietalgoritme beskikbaar vir gebruikers op hoër planne - Stats Accelerator (nou bekend as die 'Versnel leer' -opsie binne Bandits). In hierdie opset, in plaas daarvan om verkeer dinamies te probeer toewys aan die variasie wat die beste presteer, word optimisties die verkeer toewys aan die variasies wat die statistiese betekenis die vinnigste sal bereik. Op hierdie manier kan u vinniger leer en die herhaalbaarheid van tradisionele A/B -toetsresultate behou.

Strategie #4: Voeg emoji's by u metrieke name

Op die eerste oogopslag klink hierdie idee waarskynlik uit sy plek, selfs kranksinnig. 'N Belangrike aspek om seker te maak dat u die regte eksperimentresultate lees, is egter om seker te maak dat u gehoor die vraag kan verstaan. 

Soms, ondanks ons beste pogings, kan metriese name verwarrend raak (wag - brand die metriek as die bestelling aanvaar word, of as die gebruiker op die dankie -bladsy verskyn?), Of 'n eksperiment bevat soveel statistieke dat die resultate op en af ​​kan blaai. bladsy lei tot totale kognitiewe oorlading.

As u emoji's by u metrieke se name voeg (teikens, groen regmerkies, selfs die groot geldsakkie kan werk), kan dit baie meer blaaibare bladsye tot gevolg hê. 

Vertrou ons - die lees van die resultate sal baie makliker voel.

Strategie #5: Heroorweeg u statistiese betekenisvlak

Resultate word as afdoende beskou in die konteks van 'n Optimizely -eksperiment wanneer dit bereik is statistiese betekenis. Statistiese betekenis is 'n moeilike wiskundige term, maar in wese is dit die waarskynlikheid dat u waarnemings die gevolg is van 'n werklike verskil tussen twee populasies, en nie net 'n toevallige kans nie. 

Optimisely se gerapporteerde statistiese betekenisvlakke is "altyd geldig" danksy 'n wiskundige konsep opeenvolgende toetsing - dit maak hulle eintlik baie betroubaarder as dié van ander toetsinstrumente, wat geneig is tot allerhande probleme om na te kyk as u dit te gou lees.

Dit is die moeite werd om te oorweeg watter statistiese betekenisvolheid u vir u toetsprogram belangrik ag. Alhoewel 95% die konvensie in die wetenskaplike gemeenskap is, toets ons veranderings op die webwerf, nie entstowwe nie. Nog 'n algemene keuse in die eksperimentele wêreld: 90%. Maar is u bereid om 'n bietjie meer onsekerheid te aanvaar om eksperimente vinniger uit te voer en meer idees te toets? Gebruik u 85% of selfs 80% statistiese betekenisvolheid? Om doelbewus te wees oor u risiko-beloning-saldo kan mettertyd eksponensiële dividende uitbetaal, dus dink goed hieroor na.

Lees meer oor Optimizely Intelligence Cloud

Hierdie vyf vinnige beginsels en insigte sal ongelooflik nuttig wees om in gedagte te hou tydens die gebruik van Optimizely. Soos met enige ander instrument, beteken dit dat u 'n goeie begrip het van al die aanpassings agter die skerms, sodat u kan seker maak dat u die instrument doeltreffend en effektief gebruik. Met hierdie begrip kan u die betroubare resultate kry waarna u op soek is, as u dit nodig het. 

Wat dink jy?

Hierdie webwerf gebruik Akismet om spam te verminder. Leer hoe jou opmerking verwerk is.