A/B Testi: Neyi Ölçer, Neyi Ölçemez, Ne Kadar Trafik İster
A/B testi tek bir soruya cevap verir: önceden seçtiğin metrikte iki sürümden hangisi daha iyi çalışıyor. Bundan fazlasını söylemez, ama ekiplerin çoğu testi tam da cevaplayamayacağı sorular için kurar. Asıl kısıt yöntemin istatistiği de değil, elindeki trafik.
Testin ölçtüğü tek şey
Mevcut sürüm A, alternatif B. Ziyaretçiler rastgele ikiye bölünür, belirlenen metrikte fark aranır. Yöntemin gücü buradan gelir: gerçek kullanıcı, gerçek koşul, laboratuvar kurgusu yok. Zayıflığı da aynı yerden gelir, çünkü ölçtüğü şey yalnızca o metriktir. Satın alma oranını yükselten bir değişiklik iade oranını veya destek talebini de yükseltiyorsa, ikisini ayrıca ölçmediğin sürece test sana bunu göstermez. Marka algısı, ikinci ziyaret, uzun vadeli güven de aynı kör noktada kalır.
Trafik matematiği testin sınırını çizer
İki dönüşüm oranını %95 güven ve %80 güçle karşılaştırırken kol başına gereken örneklem kabaca 16 × p × (1-p) / δ² ile bulunur. Burada p mevcut dönüşüm oranın, δ ise yakalamak istediğin mutlak fark.
Sayı koyalım. Dönüşümün %3 ve göreli %10'luk bir iyileşme arıyorsan, δ 0,003 eder ve hesap kol başına yaklaşık 52.000 ziyaretçi verir. İki kol için 104.000. Aylık 20.000 ziyaretçin varsa bu test beş ay sürer.
Kritik nokta şu: δ karesiyle bölünüyor. Aradığın farkı yarıya indirdiğinde gereken trafik dörde katlanır. Aynı sayfada göreli %5'lik bir iyileşme peşine düşersen kol başına 52.000 değil, 207.000 ziyaretçi gerekir. Üçüncü bir varyant eklemek de aynı yerden vurur, çünkü kol başına gereken sayı değişmez, sadece toplam trafiği daha fazla parçaya bölersin.
Bu yüzden "A/B testi çok küçük farkları bile güvenilir biçimde ayırt eder" cümlesi ancak devasa trafikte doğrudur. Orta ölçekli bir sitede küçük farkı kovalamak zaman kaybıdır. Kararı ya cesur değişikliklere ayır, ya da testi bırakıp doğrudan tercih et.
"Neden" sorusu testin dışında kalır
Test hangi sürümün kazandığını söyler, kullanıcının neden öyle davrandığını söylemez. Ödeme adımındaki düşüşün sebebi kafa karıştıran bir alan mı, güven eksikliği mi, yoksa kargo ücretinin geç görünmesi mi; bunu ancak birini karşına alıp izleyerek anlarsın. Beş kullanıcıyla yapılan moderasyonlu bir oturum, iki hafta sürecek bir testten daha hızlı ve daha kullanışlı bir cevap verir. Anketler tercihin gerekçesini, kaba prototipler ise henüz yayına hazır olmayan fikirleri sınamayı sağlar. A/B testi bu araçların yerine değil, sonuna gelir.
Testleri bozan asıl şey kurulumdur
Sonuçlara her gün bakıp anlamlılık belirdiği an testi durdurmak, yanlış pozitif oranını ciddi biçimde şişirir. Gereken örneklemi ve süreyi teste başlamadan önce yaz, o rakama ulaşana kadar sonuca bakma. Süre en az bir tam hafta olsun, çünkü salı günü davranan kullanıcı ile cumartesi davranan kullanıcı aynı kişi değil.
Aynı anda tek şey değiştir. Buton rengiyle metni birlikte değiştirdiysen, kazanan sürümün hangi bileşen yüzünden kazandığını bir daha öğrenemezsin.
Varyant atamasını genelde sunucu tarafında kullanıcı kimliğinin hash'iyle yaparım; istemci tarafındaki script çalışana kadar orijinal içerik bir an görünüp kaybolur ve o titreme, ölçmeye çalıştığın davranışın kendisini bozar. Aynı kullanıcı her ziyarette aynı kola düşmeli, yoksa ölçtüğün şey tasarım değil rastgeleliktir.
Test etmemen gereken durumlar
Bozuk bir formu, hatalı bir yönlendirmeyi veya okunmayan bir kontrast oranını test etme. Düzelt. Kırık bir şeyin düzeltilmiş halini kırık haliyle yarıştırmak, veriyle karar veriyormuş gibi görünüp haftalarca oyalanmaktır. Trafiğin hesabın istediği sayının çok altındaysa da test kurma, çünkü çıkacak sonuç gürültüden ibaret olur ve o gürültüye dayanarak alınmış bir karar, sezgiyle alınmış karardan daha tehlikelidir: arkasında sayı olduğu için kimse sorgulamaz.