A/B Testi, Kullanılabilirlik Çalışması ve Radikal Yenilik: Hangisi Ne Zaman
Tasarımı iyileştirmek için elde üç yol var: A/B testi, kullanılabilirlik çalışması ve radikal yenilik. Bunlar birbirinin alternatifi gibi sunuluyor, oysa farklı sorulara cevap veriyorlar ve her birinin bir giriş eşiği var. Asıl mesele hangisinin daha iyi olduğu değil, elindeki trafiğin ve bütçenin hangisini mümkün kıldığı.
A/B testinin görünmeyen eşiği trafiktir
A/B testi ucuz görünür. Varyantı hazırlarsın, aracı kurarsın, trafiği ikiye bölersin. Maliyetin büyük kısmı gerçekten de tek seferliktir. Ama testin çalışması için gereken şey para değil, örneklem.
Rakamı görmek kararı kolaylaştırıyor. Dönüşüm oranın %2 ise ve bunu %2,2'ye çıkaran bir değişikliği (göreli %10'luk bir iyileşme) tesadüften ayırt etmek istiyorsan, alışıldık %95 güven ve %80 güç ayarlarında varyant başına seksen bin civarı ziyaretçiye ihtiyacın olur. İki varyant için yüz altmış bin. Haftada beş bin ziyaretçi alan bir sitede bu test aylar sürer, o arada sayfada başka şeyler de değişir ve sonuç yorumlanamaz hale gelir.
Buradan çıkan sonuç net: A/B testi yüksek trafikli sayfaların yöntemidir. Düşük trafikte yapılan test, testin kendisi değil taklididir.
Sık tekrarlanan “her hafta %1-10 iyileşme” vaadi de aynı yerden çatlıyor. Haftada yalnızca %2'lik bir kazanç bir yıl boyunca birikseydi dönüşüm oranı 2,8 katına çıkardı. Böyle bir eğri hiçbir üründe görülmedi, çünkü kazançlar birbirinden bağımsız değil: aynı butonu ikinci kez büyütmek ilk seferki etkiyi vermiyor.
Bir testin asıl maliyeti varyantı yazmak da değil, iki kod yolunu bir arada canlıda tutmak. Test bitince kaybeden dalı aynı hafta sil, yoksa altı ay sonra kimsenin hatırlamadığı bir bayrak yüzünden hata arıyor olursun.
Kullanılabilirlik çalışması neyi yakalar
A/B testi hangi varyantın kazandığını söyler, neden kazandığını söylemez. Daha kısıtlayıcı olanı şu: yalnızca senin akıl ettiğin seçenekler arasından seçim yapar. Test ettiğin iki tasarım da kötüyse, kazananı bulur ve orada takılı kalırsın.
Kullanılabilirlik çalışması tam bu boşluğu doldurur. Beş kişiyle yapılan bir gözlem oturumu, on binlerce ziyaretçilik bir testin göremeyeceğini gösterir: kullanıcının nerede duraksadığını, hangi kelimeyi yanlış anladığını, hangi adımı atlamaya çalıştığını. Sayı vermez, sebep verir.
Maliyeti de trafikten bağımsız. Günde yüz ziyaretçi alan bir ürün de beş kullanıcıyla oturum yapabilir. Yeni ya da az trafikli ürünlerde gerçekçi olan tek yöntem budur, A/B testi değil.
Radikal yenilik nadir, pahalı ve çoğunlukla başarısız
Üçüncü yol mevcut çözümü iyileştirmek yerine soruyu değiştirmek. Getirisi diğer ikisiyle kıyaslanmaz, şartları da öyle: uzun süre gelir üretmeyecek bir yatırım ve başarısızlığı normal sayan bir sabır gerektirir. Denemelerin çoğu pazara ulaşmadan kapanır.
Bu yüzden radikal yenilik bir strateji değil, bir bahis. Tasarım sürecinin haftalık kararlarına cevap veremez. Aynı ekip aynı çeyrekte hem A/B testi hem radikal yenilik yürüttüğünü söylüyorsa, ikisinden biri gerçekte yapılmıyordur.
Toplamda kazandıran hangisi
Kaba bir hesap işi görüyor: bir yöntemin toplam katkısı, sağladığı fayda ile uygulanma sıklığının ve onu uygulayabilen ekip sayısının çarpımı kadar. Radikal yenilik ilk çarpanda çok yüksek, diğer ikisinde çok düşük. Kullanılabilirlik çalışması ve A/B testinde durum tersine dönüyor: fayda ölçülü, sıklık ve yaygınlık yüksek. Toplamı büyüten taraf ikincisi.
Pratikte bölüşüm şöyle. Trafiğin varyant başına on binleri buluyorsa A/B testini düzenli işlet, dar kararlarda güvenilir sonuç verir. Trafiğin yoksa ya da ürün henüz yeniyse zamanını kullanıcı gözlemine ayır. Radikal yeniliği ancak diğer ikisi yerleşmişken ve kaybetmeyi göze alabileceğin bir bütçe varken masaya koy.