Kuantitatif Kullanıcı Araştırması: Hangi Sayı Neyi Kanıtlar?

Sayısal veri, kararı otomatik olarak nesnel yapmaz. Yöntemin cevapladığı soru ile senin sorduğun soru aynı değilse, elindeki tablo yalnızca yanlış cevabı virgülden sonra iki hane hassasiyetle verir. Kuantitatif yöntemleri sıralamak yerine hangisinin neyi kanıtlayabildiğine, bir de ne kadar veriyle kanıtlayabildiğine bakmak daha faydalı.

"En az 30-35 katılımcı" kuralı nereden geliyor?

Bu rakam kullanılabilirlik ölçümlerinde bir başarı oranını ya da ortalama görev süresini kabaca kestirmek için dolaşan bir pratik kural. Kestirimin ne kadar kaba olduğunu görmek için hesabı yapmak yeterli: 30 kişiyle ölçtüğün %80'lik bir görev başarısının %95 güven aralığı yaklaşık 14 puan, yani gerçek değer %66 ile %94 arasında bir yerde. Sürümler arası 5 puanlık bir iyileşmeyi bu genişlikteki aralıkla göstermeye çalışmak boşa emek.

Aynı rakamı A/B testine taşıdığında ise durum tamamen kopuyor. Dönüşümü %3'ten %3,6'ya çıkaran bir değişikliği (göreli olarak %20 iyileşme, çoğu ekibin sevineceği bir sonuç) yakalamak için varyant başına yaklaşık 14 bin kullanıcı gerekir. Otuz beş değil. Aradaki üç mertebelik fark, kuralın yanlış olmasından değil, farklı bir soruya ait olmasından kaynaklanıyor: küçük örneklem bir metriği kabaca tarif etmeye yarar, iki metriği birbirinden ayırmaya yaramaz.

Pratikte bunun anlamı şu: trafiği düşük bir üründe A/B testi kurmak, testin kendisini değil sadece bekleme süresini üretir. Ölçüm gücün yoksa küçük değişikliği tartışmayı bırakıp gözle görülür farklar yaratan değişikliklere geç.

Yöntemler farklı sorulara ait

Uzun yöntem listeleri hepsini eşit ağırlıkta yan yana koyduğu için seçim yapmayı zorlaştırıyor. Oysa üç ayrı kümede toplanıyorlar:

• Şu an ne kadar iyi? Kuantitatif kullanılabilirlik testleri, görev başarı oranı, tamamlama süresi. Bir referans noktası üretirler; asıl değerleri aynı ölçümü aylar sonra tekrar edip karşılaştırabilmende.
• İki seçenekten hangisi daha iyi? A/B ve çok değişkenli testler. Tek işi bu, ve yukarıdaki örneklem şartına tabi.
• İnsanlar zihinlerinde nasıl grupluyor? Kart sıralama ve ağaç testi. Bilgi mimarisi kararları için bunların yerine analitik bakmak yaygın bir hata; analitik sana mevcut menüde ne olduğunu söyler, olması gerekeni değil.

Anketler bu üçünün dışında duruyor ve karıştırılmaya en açık olanı. NPS ya da Likert ölçekleri davranışı değil beyanı ölçer. Sayı üretmesi onu davranış verisi yapmıyor; "kullanır mıydınız" sorusuna verilen %70 evet cevabı, %70 kullanım oranı değildir.

Göz takibi ise listelerde hep bulunur ama uygulamada nadiren karar değiştirir. Donanım ve analiz maliyetine karşılık genelde zaten bildiğin bir şeyi doğrular (bu yöntemin popülerliğini fazla buluyorum).

Analitik verinin sessiz varsayımları

Analitik ucuz ve hızlı olduğu için en çok güvenilen kaynak, oysa en çok kurulum hatası barındıran kaynak da bu. "Çıkış oranı yüksek" cümlesinin arkasında hep bir ölçüm zinciri vardır ve o zincirin herhangi bir halkası kopukken tablo yine dolu görünür.

En sık rastlananlar: tek sayfa uygulamalarda rota değişiminin sayfa görüntüleme olayı tetiklememesi, dolayısıyla gerçekte gezinen kullanıcının tek sayfalık oturum gibi görünmesi. Oturum zaman aşımının varsayılan otuz dakikada bırakılması, uzun okuma yapan kullanıcıyı iki oturuma bölmesi. Aynı olayın hem butona hem kapsayıcıya bağlanıp iki kere sayılması. Reklam engelleyicilerin belirli kullanıcı gruplarını ölçümden tümüyle çıkarması.

Bir arayüz iddiasını veriye dayandırmadan önce o verinin nerede üretildiğini kodda görmek gerekir. Olay tanımlarına bakmadan kabul edilen bir grafik, kullanıcı davranışının değil ölçüm kurgusunun resmidir. Bu kontrol yarım saat sürer ve haftalarca yanlış yönde çalışmayı engeller.

Seçimi bütçe değil karar belirlesin

Yöntem seçerken sorulacak ilk soru maliyet değil, sonucun hangi kararı değiştireceği. Cevap "hiçbiri" ise ölçüm yapılmasın; ekipler şaşırtıcı sıklıkla verilmiş bir kararı sayıyla süslemek için araştırma kuruyor.

Karar netse yöntem çoğu zaman kendiliğinden geliyor. Menüyü yeniden düzenleyecekseniz ağaç testi; iki ödeme akışından birini seçeceksek A/B, yeter ki trafik hesabı tutsun; yeniden tasarımın işe yarayıp yaramadığını göstereceksek öncesinde ve sonrasında aynı görevlerle ölçülmüş bir kullanılabilirlik testi. Yöntemi seçtikten sonra da ölçüyü sabitleyin: metrik tanımı sürüm sürüm değişiyorsa elinizde zaman serisi değil, birbiriyle karşılaştırılamaz sayılar kümesi olur.