Зошто повеќето A/B тестови ве лажат

Некој од тимот води A/B тест на копчето за регистрација. По три дена, варијантата Б е нагоре за 12%. Возбуден, тој ја прогласува за победничка, ја испорачува и додава реченица за подобрувањето во следниот општ состанок. Два месеци подоцна, регистрациите не се поместиле. Никој не се враќа да провери зошто, зашто дотогаш има уште пет други тестови за известување.

Ова се случува постојано, и не е лоша среќа. Тоа е она што се случува кога статистички метод се користи како ритуал за одлучување наместо како статистички метод.

Проблемот со запирањето

Најголемиот единечен извор на лажни позитивни резултати во A/B тестирањето е ѕиркањето. Тестот е осмислен да достигне заклучок при однапред одреден примерок, со однапред одреден праг на значајност. Проверувањето на таблата секој ден и запирањето во моментот кога p-вредноста ќе падне под 0,05 не е истиот тест. Тоа е сосема друга постапка, а таа драматично ја надувува вашата стапка на лажни позитивни резултати — честопати на 20–30% наместо на 5% што сите претпоставуваат дека ги добиваат.

Математиката е едноставна: со постојано следење добивате многу шанси случајниот шум да ја премине линијата на значајност во некој момент од траењето, дури и кога нема вистински ефект. Ако запрете првиот пат кога ќе ја премине, во суштина сте си гарантирале дека ќе „најдете“ победници што не се вистински во значаен дел од случаите.

Решението не е сложено, само е непопуларно: одлучете ги големината на примерокот и траењето на тестот пред да почнете, врз основа на пресметка на моќ, и не гледајте ги резултатите како сигнал за запирање сѐ додека не стигнете дотаму. Ако вашата организација не може да поднесе чекање три недели за вистински одговор, тоа е корисна информација — значи дека A/B тестирањето не е вистинската алатка за одлуката што сакате да ја донесете.

Тестовите со недоволна моќ произведуваат шум, а не сигнал

Повеќето производи на мали и средни компании немаат доволно посетители за брзо да откријат мали ефекти. Ако вашата страница за регистрација има 2.000 посетители месечно, а сакате да откриете подобрување од 5% врз основна стапка на конверзија од 3%, ви треба примерок што би се насобирал поголемиот дел од една година при стандардни прагови на значајност и моќ. Никој не води таков тест една година. Го водат две недели и прогласуваат дека тоа што излегло е значајно.

Резултатот е низа „победи“ што се всушност само варијација во примерокот преправена во увид. Пред да поставите тест, направете ја пресметката на моќ. Ако потребниот примерок е недостижен во разумен рок, не водете формален тест — или спојте неколку промени во поголем редизајн што ќе го оцените со податоци пред и потоа, или прифатете дека носите квалитативна одлука и престанете да се преправате дека p-вредност ја поткрепува.

Повеќекратните споредби тивко кршат сѐ

Тестирањето пет варијанти наспроти контролна, или сечењето резултати по уред, прелистувач, извор на сообраќај и нови наспроти постојни корисници, ги множи вашите шанси случајно да најдете нешто „значајно“. Направете 20 споредби со праг на значајност од 5% и треба да очекувате приближно еден лажен позитивен резултат дури и ако ништо од тестираното не прави ништо. Тимовите што ги сегментираат резултатите дополнително — „не победи вкупно, но погледни ги корисниците на Safari на мобилен“ — речиси секогаш гледаат шум, а не вистински ефект во подгрупа.

Ако сакате да тестирате подгрупи, одлучете кои се важни пред да ги погледнете податоците и приспособете го прагот на значајност соодветно. Сечење по фактот сѐ додека нешто не позелени не е анализа. Тоа е начин да си гарантирате дека ќе го најдете тоа што го барате.

Што навистина корелира со тоа тестот да е вистински

Неколку практични проверки се покорисни од самата p-вредност:

• Дали резултатот се повторува? Пуштете вистински победник повторно на свеж сегмент публика пред целосно да го воведете. Вистинските ефекти обично се задржуваат. Шумот не.
• Дали големината на ефектот е веродостојна? Промена на еден наслов што дава 40% подобрување во платена конверзија треба да предизвика скептицизам, а не славење. Големите, неверодостојни ефекти почесто се грешки во мерењето — расипано контролно искуство, грешка во следењето, проблем со кеширање што сервира една варијанта на ботови — отколку вистински победи.
• Дали ја пријавивте хипотезата однапред? Ако не можете да кажете, пред тестот да се пушти, што сте очекувале да се случи и зошто, веројатно рационализирате резултат наместо да тестирате теорија.
• Дали се задржува низ целосен деловен циклус? Неделните и месечните шеми во сообраќајот и однесувањето на купувачите можат двонеделен тест да го направат да изгледа убедлив, кога всушност фаќа сезонски артефакт.

Поголемата поента

A/B тестирањето е навистина моќна алатка кога се користи онака како што е замислено: однапред пријавена хипотеза, пресметан примерок, фиксно правило за запирање, еден основен показател. Станува театар кога се користи како начин да се додаде статистички легитимитет на одлука што тимот и онака сакал да ја донесе. Знакот обично е брзината — вистинските тестови траат подолго отколку што некој сака, зашто реалноста не се движи со брзината на освежување на табла.

Ако вашата програма за тестирање произведува постојана низа мали победи што некако никогаш не се собираат во растот што го наговестувале, проблемот веројатно не е во вашите идеи. Проблемот е во тестот.

PNK WORKS ја гради аналитичката и експерименталната инфраструктура за тестови што издржуваат, а не само за такви што изгледаат добро на слајд. Разговарајте со нас.