A/B Testi ve Multivariate Test Arasında Nasıl Seçim Yapılır?
A/B ile multivariate test farkı genelde "biri sayfayı, diğeri öğeleri karşılaştırır" diye anlatılıyor. Doğru ama eksik. Asıl fark testin trafiği kaç kutuya böldüğü, ve elinizdeki ziyaretçi sayısının o kutuları doldurmaya yetip yetmediği. Bu hesap yapılmadan seçilen yöntem, haftalarca veri toplayıp sonunda hiçbir şey söylemeyen bir rapor üretiyor.
İki yöntem, tek yapısal fark
A/B testinde iki bütün versiyon yarışır: mevcut sayfa ve yeni tasarım. Multivariate testte ise birden fazla öğenin varyantları aynı anda denenir ve ziyaretçi bunların kombinasyonlarına dağıtılır. Buton rengi için iki seçenek, ürün görseli için iki seçenek koyduğunuzda dört kutu oluşur. Kutu sayısı toplanarak değil çarpılarak büyür: üç öğe için üçer varyant denerseniz yirmi yedi kombinasyon çıkar.
Trafik matematiği tavsiyeyi ters çeviriyor
Standart öneri şudur: köklü değişiklikte A/B, ince ayarda multivariate. Bu öneri kendi içinde ters çalışıyor. İnce ayarın ürettiği fark küçüktür, ve küçük farkı görebilmek için gereken örneklem farkın karesiyle ters orantılı büyür. Beklenen etkiyi yarıya indirdiğinizde ihtiyacınız olan ziyaretçi sayısı dörde katlanır. Üstüne trafiği dört ya da yirmi yedi kutuya böldüğünüzde ihtiyaç bir kez daha çarpılır.
Sonuç şu: multivariate test tam da en küçük etkileri ararken en fazla trafiği istiyor. Günlük birkaç bin oturumun altındaki bir sitede A/B testini multivariate testten daha güvenilir bulurum, sebebi yöntemin kendi kalitesi değil, ikincisinin o trafikte hiçbir kutuyu anlamlı biçimde dolduramaması. Testi erken kesip "kırmızı önde" demek, gürültüyü sonuç sanmaktan başka bir şey olmuyor.
Dört kutudan en iyisini seçmenin bedeli
Kombinasyonlar arasından en yüksek dönüşümü seçmek, tek bir karşılaştırma yapmakla aynı şey değil. Dört kutuya baktığınızda yalnızca şansa bağlı olarak birinin öne çıkma olasılığı ciddi biçimde artar. Peki test aynı koşullarda tekrarlansa aynı kutu mu kazanırdı? Bu soruya cevap verilemiyorsa ortada bir bulgu değil bir tahmin var.
Pratik karşılığı basit: hangi kombinasyonun neden kazanmasını beklediğinizi teste başlamadan yazın, ve çıkan kazananı tek başına ikinci bir A/B testiyle doğrulayın. İkinci test ilkinden daha az varyasyon içerdiği için çok daha hızlı sonuçlanır.
Etkileşim gerçekten bekleniyor mu?
Multivariate testin tek sağlam gerekçesi öğeler arası etkileşimdir: başlığın belirli bir görselle birlikte anlam kazanması, videoya geçince buton metninin farklı okunması gibi durumlar. Böyle bir bağ beklemiyorsanız arka arkaya yapılan iki A/B testi aynı bilgiyi daha az trafikle verir. Kombinasyonları görme isteği çoğu zaman gerçek bir hipotezden değil, tek seferde her şeyi denemenin cazibesinden geliyor.
Ölçüm tarafı: veri nerede kirleniyor
Yöntem seçimi doğru olsa bile uygulama tarafında test kolayca çöpe gidiyor. En sık görülen üç kaynak: varyant atamasının tarayıcıda yapılıp sunucuda hiç kaydedilmemesi, atamanın kullanıcı yerine oturum bazlı tutulması nedeniyle aynı kişinin iki varyantı görmesi, ve orijinal sayfa yüklendikten sonra araya giren betiğin görünür bir titremeyle varyantı sonradan çizmesi. Üçüncüsü ölçtüğünüz şeyi değiştirir, çünkü kullanıcı artık tasarıma değil gecikmeye tepki veriyordur.
Atamayı sunucu tarafında yapıp kullanıcı kimliğiyle birlikte log'a yazmak bu üç sorunu birden kapatır, ve testi bitirdikten sonra sonucu yeniden hesaplamanıza da imkan verir.
SEO tarafında yaygın bir yanlış
Test varyasyonlarının dizine girmesini engelleyin tavsiyesi sık tekrarlanıyor, ama Google'ın kendi test rehberi bunun tersini söylüyor. Varyant URL'lerine noindex vermek yerine orijinal sayfaya işaret eden rel="canonical" kullanılır, yönlendirme gerekiyorsa kalıcı değil geçici (302) yönlendirme tercih edilir, ve arama motoruna kullanıcıdan farklı içerik gösterilmez. noindex verilen bir varyant, test bittikten sonra yeniden dizine girmek için gereksiz yere bekler.