Када имате 750 милиона догађаја дневно, боље је да правилно поделите тест

Ове недеље Унбоунце је био домаћин догађаја Сплитско тестирање: све што сте желели да знате, али сте се плашили да питате (вероватно) у њиховом новом пословном простору у Ванкуверу.

Више од 100 људи присуствовало је догађају да чује Тхомас Леви , Сениор Дата Сциентист ат свеже стечени ПлентиОфФисх , говори о методологијама сплит тестова. Леви је докторирао теоријску физику и теорију струна на Универзитету у Пенсилванији. Његове постдокторске студије биле су из космологије и теорије струна, где је написао 19 радова и зарадио стотине цитата.

Приликом сплит тестирања, невероватно је лако преварити себе, због претпоставки и лоше дизајнираних тестова, да мисли да су резултати легитимни, а у ствари нису. На пример, повећање конверзије од 3% у једном сценарију може изгледати позитивно, али ако тим који води тест не може бити сигуран да ништа не радећи у истом периоду не би довело до повећања од 5%, они не могу бити сигурни у њихове резултате.

Оно што се чини као добитак од 3% може у ствари бити губитак од 2%. Ако се овакве могућности не узму у обзир за више стотина или хиљада тестова, резултат за онлајн пословање у високо конкурентном простору могао би бити катастрофалан.

Овај говор је испитао начине да се избегну ови проблеми пружањем општег прегледа четири методологије тестирања: тестирање нулте хипотезе, секвенцијално тестирање односа вероватноће, вишеруки разбојници и Бајесов секвенцијални дизајн теста.

Све четири методологије имају различите предности и недостатке које се морају одвагати када се одређује какав тест користити. Један тест може бити једноставан за извођење, али тестер мора да сачека да тест у потпуности заврши своје трајање пре него што примени позитивне промене, што доводи до опортунитетне цене. Различити тест може динамички да расподели саобраћај док се тест спроводи, омогућавајући компанији да раније оствари добит, али може бити осетљив на краткорочне сезонске промене.

Овде нема чврстих правила. Све је у покушају да ограничите своју несигурност што је више могуће и добијете генерализацију када заиста направите потпуну промену да буде што је могуће истинитија, рекао је Леви.

У ПОФ-у, где сајт има приближно 750 милиона догађаја сваког дана, бити дисциплинован, објективан и упознат са предностима и недостацима сваке методологије тестирања када их бирате од кључне је важности да бисте дошли до онога што је најважније: до истине о корисницима ' понашање. Одступање од овога може довести до скупих губитака времена и прихода у огромним размерама.

Веома сам скептичан према свима који кажу: „Ово је начин на који треба да поделите тест“ или „Ово је најбољи метод“, јер то у великој мери зависи од вашег сценарија случаја, рекао је Леви. Овде нема бесплатног ручка. Све има предности и недостатке, а за шта год да је, морате одабрати предности и недостатке.

Леви ће пратити овај уводни говор са детаљним презентацијама о свакој методи тестирања. За детаље, можете пратити Левија на Твитеру на адреси @тслеви , пратите Унбоунце менаџера за развој заједнице Цхерил Драпер на @цхерилдрапер , или провера предстојеће Састанци науке о подацима .