A/B Testini Araştırmayla Beslemek: Hipotez, Varyant Sayısı ve Trafik

A/B testi bir soruya cevap verir: bu iki varyanttan hangisi daha çok dönüşüm getirdi. Sormadığı soru ise şu: neden. Ve testin sonucunu bir sonraki tasarım kararına taşıyan tek şey o neden. Hipotezin nereden geldiği, testin kendisinden daha belirleyici.

Testin cevapladığı soru dar

Kazanan varyantı öğrendiğinizde elinizde tek bir bilgi olur: bu sayfada, bu trafikte, bu dönemde şu versiyon daha iyi çalıştı. Bunu "kullanıcılar kısa formu sever" diye genellemek testin söylemediği bir şeyi söyletmek olur. Belki formun kısalığı değil, kaldırılan o tek alanın anlaşılmaz etiketi sorundu.

Peki bunu nasıl ayırt edersiniz? Testin ölçtüğü şeyi değiştirerek değil, testten önce insan izleyerek. Beş kişilik bir kullanılabilirlik seansı, hangi alanın insanları durdurduğunu bir haftalık trafiğe ihtiyaç duymadan gösterir.

Hipotez nereden gelir

İyi bir hipotezin arkasında genellikle şu dördünden biri vardır:

• Form terk noktasında sorulan tek soruluk anket. "Bu adımda sizi durduran ne oldu?" kadar sade.
• Kayıtlı oturumlar. Tekrar tekrar aynı yere dönen imleç, etiketin anlaşılmadığını söyler.
• Ağaç testi. Menü adlandırması kararsızsa, kullanıcıların hangi başlık altında ne aradığını arayüz çizmeden ölçer.
• Destek kayıtları. Zaten yazılmış, zaten sınıflandırılmış, çoğu ekipte hiç okunmamış bir veri kümesi.

Varsayımla üretilmiş varyantların sorunu yanlış olmaları değil, doğru çıktıklarında bile neden doğru olduklarını bilmemeniz.

Varyant sayısı sessizce riski büyütür

Bir kontrol ve dört varyantla test kurmak masum görünür. Ama her varyant kontrole karşı ayrı bir karşılaştırmadır ve %5 anlamlılık düzeyinde çalışıyorsanız, dört karşılaştırmanın tamamının temiz çıkma olasılığı 0,95 üzeri 4, yani yaklaşık 0,81. Geriye kalan %19, hiçbiri gerçekten daha iyi olmasa bile en az bir varyantın kazanan görünme ihtimalidir.

Buna trafiğin beşe bölünmesi de eklenir, yani her kol istatistiksel güce daha geç ulaşır. Sekiz varyantla başlayan test planları bu yüzden hem daha yavaş biter hem de sonucuna daha az güvenilir (bu tür planları çoğunlukla süslü bir kumar olarak görüyorum). İki varyantla başlayın, kazananı bir sonraki turun kontrolü yapın.

Trafiğiniz yetmiyorsa test kurmayın

Haftada iki yüz ziyaretçi alan bir sayfada %2 dönüşüm farkını yakalamak için gereken süre, sayfanın kendisinin değişmeden kalacağı süreden uzundur. Bu durumda test kurmak ölçüm değil tören olur.

Az trafikli sayfalarda nitel yöntemler açık ara daha verimli. Beş kullanıcıyla yapılan moderasyonlu bir seans, aynı sayfada üç ay sürecek bir testten daha net bir yön verir. Testi trafiğin gerçekten aktığı yerlere saklayın.

Yayına almadan önceki yarım saat

Varyantın kendisi de bir arayüz ve hatalı çıkabilir. Küçük ekranda taşan bir buton ya da yanlış bağlanmış bir form alanı, testin sonucunu tasarım tercihi gibi gösterir. Oysa ölçtüğünüz şey bozuk bir uygulamadır.

Her varyantı yayına almadan önce gerçek bir telefonda açıp akışı sonuna kadar tamamlayın. Otuz dakika sürer ve iki haftalık bir testi çöpe atmaktan ucuzdur.