Nicel UX Araştırması: Örneklem, Trafik ve Ölçüt Sorunu

Nicel UX araştırmasında yöntem listesi hiç sorun olmaz. Analitik, anket, A/B testi, görev tamamlama ölçümü; hepsinin ne işe yaradığı belli. Tıkanma neredeyse her zaman aynı iki yerde oluyor: yeterli örneklemi bulamamak ve hangi sayının başarı sayıldığına testten sonra karar vermek.

Sayı hangi soruya cevap verir

Nicel veri "kaç kişi, ne kadar sürede, hangi oranda" sorularını kapatır. "Neden" sorusuna cevap vermez ve vermeye zorlandığında yanlış cevap üretir. Ödeme ekranında terk oranının %40 olduğunu analitikten öğrenirsin; insanların neden terk ettiğini beş kullanıcıyla yapılan bir oturum kaydı izlemesinde öğrenirsin.

Pratik kural şu: sırayı nitel olanla başlat. Önce neyin bozuk olabileceğini gör, sonra onu ölçmek için doğru metriği seç. Tersi yönde çalışmak, yani önce büyük bir veri seti toplayıp içinde anlam aramak, çoğu ekipte haftalarca süren ve sonunda zaten bilinen şeyi doğrulayan bir işe dönüşüyor.

A/B testinin faturası bütçe değil, trafik

"Ucuz yöntemlerle başlayın, A/B testi kolaydır" tavsiyesi kulağa makul geliyor ama hesap tutmuyor. Dönüşüm oranı %3 olan bir akışta, bunu %3,3'e çıkaran bir iyileştirmeyi %95 güven ve %80 güçle yakalamak istiyorsan varyant başına yaklaşık 53 bin kullanıcıya ihtiyacın var. İki varyant için yüz bin ziyaretçi.

Bu sayı küçük farkları aramanın doğal cezası: gereken örneklem, aradığın etkinin karesiyle ters orantılı büyüyor. Farkı yarıya indirirsen örneklem dörde katlanır. Yani %3'ten %3,15'e çıkan bir kazanç peşindeysen varyant başına 200 bini aşıyorsun.

Bunun iki sonucu var. Günlük trafiği birkaç bin kişi olan bir ürün için A/B testi en pahalı yöntem, en ucuzu değil; çünkü maliyeti para değil zaman olarak ödüyorsun ve test üç ay sürerse ürün o süre boyunca donuyor. İkincisi, küçük trafikte anlamlı bir test kurmanın tek yolu daha büyük değişiklikler denemek. Buton rengi değil, akışın tamamı. Örneklem hesabını testi kurmadan önce yapmayı tercih ederim, çünkü süre tahmini çıkmayan bir testi hiç başlatmamak, dördüncü haftada "bir hafta daha bakalım" demekten daha az maliyetli. Evan Miller'ın örneklem hesaplayıcısı bu hesabı tarayıcıda yapıyor.

Analitik verisi temiz gelmiyor

Analitik gerçekten en düşük maliyetli nicel kaynak, bir şartla: olay (event) kurulumu düzgünse. Pratikte en sık gördüğüm hata, aynı kullanıcı eyleminin kodun farklı yerlerinden farklı isimlerle gönderilmesi. checkout_start, checkoutStarted, begin_checkout; üçü de var, üçü de kısmi veri taşıyor ve hiçbiri tek başına doğru değil.

Olay isimlerini ve gönderilen alanları tek bir sabit listesinde tutmak, veriyi analiz aşamasında temizlemekten çok daha kolay. Bu işi yapmanın maliyeti bir öğleden sonra; yapmamanın maliyeti her raporda yeniden ortaya çıkan bir uzlaştırma turu.

İkinci tuzak: huni raporları yalnızca ölçmeyi düşündüğün adımları gösterir. Kullanıcının akıştan çıkıp yardım sayfasına gittiği, sonra geri döndüğü yol, o adımlar enstrümante edilmediyse veride görünmez. Huni temiz görünür, gerçek davranış öyle değildir.

Katılımcı bulmak yöntem seçimini belirler

Büyük örneklem gerektiren çalışmalarda asıl kısıt katılımcı erişimi. Burada iki gerçekçi yol var ve hangisinin doğru olduğu trafiğine bağlı.

Canlı ürününde yeterli kullanıcı akıyorsa ölçümü ürünün içinde yap: görev tamamlama oranı, hata sıklığı, akış süresi. Veri bedava gelir ve gerçek kullanıcıdan gelir. Trafik yetmiyorsa panel üzerinden katılımcı satın almak gerekir, ama o zaman da ölçtüğün şey gerçek motivasyonu olmayan insanların davranışıdır; görev başarı oranları sistematik olarak iyimser çıkar.

Kart sıralama ve ağaç testi bu açıdan rahat yöntemler. Elli civarı katılımcıyla bilgi mimarisi hakkında kullanılabilir sonuç verirler ve A/B testinin trafik eşiğine yakın bir şey istemezler. Bilgi mimarisi sorusu olan ekiplerin doğrudan buradan başlamasını öneririm.

Ölçütü testten önce yaz

Başarı kriterinin testten sonra belirlendiği her çalışma bir hikâye anlatma egzersizine dönüşüyor. Yirmi metrik toplarsan içlerinden biri tesadüfen iyileşmiş olur ve rapor onun üzerine kurulur.

Testi kurmadan önce tek bir cümle yazılmalı: hangi metrik, ne kadar değişirse değişiklik kalıcı olacak, ne kadarın altında geri alınacak. Bu cümle yazılıysa sonucu yorumlamak beş dakika sürüyor. Yazılı değilse tartışma haftalara yayılıyor ve genelde en yüksek rütbeli kişinin tercihiyle kapanıyor.

Yönetici memnuniyeti ya da paydaş ikna süreci de gerçek bir ihtiyaç, ama bunu ölçüt listesine karıştırmamak gerekiyor. Araştırmanın değerini anlatmanın yolu daha çok grafik değil, bir kere baştan tanımlanmış ölçütle alınan ve sonra tutan bir karar.