A/B Testi Kurmadan Önce Örneklem Hesabını Yapın
A/B testine başlamadan önce tek bir hesap yapın: kaç ziyaretçi gerekiyor. Bu sayı testin kaç gün süreceğini söyler, çoğu sitede de testin baştan kurulmaması gerektiğini. Araç seçimi, hipotez formatı, raporlama; hepsi bu hesaptan sonra gelir.
Önce örneklem, sonra hipotez
Kaba bir tahmin için grup başına gereken ziyaretçi sayısı 16 · p(1−p) / Δ² ile bulunur (%95 anlamlılık, %80 güç). Burada p mevcut dönüşüm oranınız, Δ ise yakalamak istediğiniz mutlak fark.
Sayıları yerine koyalım. Dönüşümünüz %3 ve bunu %3,3'e çıkarmak istiyorsanız Δ = 0,003 olur: 16 × 0,03 × 0,97 / 0,003² ≈ 51.700. Bu rakam varyant başına, yani toplam 103 bin ziyaretçi. Günde 500 ziyaretçi alan bir sitede aynı test 200 günden uzun sürer.
Bu hesap, test en az bir iki hafta sürsün tavsiyesinin neden yanıltıcı olduğunu gösteriyor. Süreyi takvim değil trafik belirler. İki hafta, günde 50 bin ziyaretçili bir sitede fazlasıyla yeterlidir; günde 500 ziyaretçili bir sitede ise sadece gürültü biriktirme süresidir.
Trafiğiniz yetmiyorsa
Küçük siteler için çözüm daha kısa A/B testi değil. İki seçenek var. Ya yöntemi değiştirin: beş kişilik bir kullanılabilirlik oturumu, formdaki kırılmayı bir öğleden sonrada gösterir ve bunun için istatistiğe ihtiyacınız olmaz. Ya da Δ'yı büyütün: buton rengi yerine akışın tamamını değiştirin, çünkü büyük fark küçük örneklemle de yakalanır. Küçük trafikte küçük değişiklik test etmek, en baştan sonuçsuz kalacağı bilinen bir iştir.
Ölçtüğünüz şeyin kodda karşılığı
Varyant ataması kullanıcı başına yapışkan olmalı. Aynı kişi ilk ziyarette A, ikincisinde B görüyorsa gruplar birbirine karışır ve sonuç tesadüfe döner. Atamayı çerezde ya da kullanıcı kimliğinde saklayın, her istekte yeniden rastgele seçmeyin.
İkinci tuzak istemci tarafında çalışan araçlarda. Sayfa önce orijinal haliyle boyanır, script sonra devreye girip elementi değiştirir. Kullanıcı bu titremeyi görür ve o noktadan sonra ölçtüğünüz şey tasarım farkı değil, yükleme davranışı farkıdır. Değişiklik ödeme gibi bir akıştaysa varyantı sunucu tarafında ya da bir özellik bayrağıyla ayırın.
Aracı ilk kez kuruyorsanız iki özdeş sayfayla bir A/A testi çalıştırın. Anlamlı fark çıkıyorsa sorun tasarımınızda değil, ölçüm kurulumunuzdadır.
Koruma metriğini baştan seçin
Tek metriğe bakan test yanlış yöne optimize eder. Tıklamayı artıran bir başlık iade oranını da artırıyorsa ortada kazanç yok. Ana metriğin yanına düşmemesi gereken bir ikinci metrik koyun ve testi kapatırken ikisine birden bakın.
Testin cevaplayamadığı soru
A/B testi hangi varyantın kazandığını söyler, nedenini söylemez. Kullanıcıların B'de neden kaldığını anlamak istiyorsanız nitel yöntemlerle desteklemeniz gerekir. Pratikte sıra şöyle işliyor: nitel araştırma hipotezi üretir, A/B testi o hipotezi doğrular ya da çürütür. Ters sırada çalıştırdığınızda elinizde açıklayamadığınız bir kazanan kalır.