UX Araştırmasında Güvenilirlik: Kapsam ve Yanlış Pozitif
Büyük örneklem bir bulgunun doğru olduğunu göstermez, dar örneklem ise bulguyu tek bir gruba hapseder. Güvenilirlik dediğimiz şey aslında iki ayrı problem: kapsam ve tesadüf. Çeşitlilik birincisini çözer, ikincisi için başka bir disiplin gerekir.
Kapsam: hangi çeşitlilik işe yarıyor
Katılımcı listesini genişletmek akla ilk gelen adım, çoğu ekipte de en pahalısı. Görev çeşitliliği daha ucuz ve genellikle daha çok hata çıkarır: aynı beş kişiye tek bir akış yerine üç farklı akış yaptırmak, aynı bütçeyle üç kat sorun yüzeyi tarar. Katılımcı profilini genişletmeyi, ürün gerçekten yeni bir kitleye açılıyorsa öne alın.
Cihaz ve bağlam pazarlığa kapalı. Masaüstünde temiz görünen bir form, tek elle kullanılan telefonda klavyenin altında kalıyorsa test o durumu hiç görmemiştir. Ekran okuyucuyla tek bir görev denemesi de aynı işi yapar, sonradan baştan yazacağınız arayüz parçalarını erken gösterir.
Tesadüf: çok sayıda küçük çalışmanın faturası
"Tek büyük araştırma yerine çok sayıda küçük araştırma yapın" tavsiyesi yaygın ve büyük ölçüde doğru. Söylenmeyen tarafı şu: yirmi bağımsız karşılaştırmayı yüzde 5 eşikle okursanız, hiçbirinde gerçek bir fark olmasa bile en az bir "anlamlı" sonuç görme olasılığınız 1 eksi 0,95 üzeri 20, yani yaklaşık yüzde 64. Küçük çalışmaları çoğaltmak kapsamı büyütürken yanlış pozitif üretme hızını da büyütüyor.
Çözüm çalışma sayısını kısmak değil, rolleri ayırmak. Keşif çalışmaları soru üretir, doğrulama çalışmaları karar verir. Sürpriz bir bulguyu ikinci bir çalışmada tekrarlamadan yol haritasına yazmayın. Ölçülecek metriği ve eşiği testten önce sabitlemek de aynı işi görür, sonradan seçilen metrik her zaman ikna edici çıkar.
Ölçüm pratikte nerede kırılıyor
Araştırma sonuçlarını bozan şey çoğu zaman istatistik değil, veri toplama katmanı.
- AB testinde kolların trafiği beklenen oranda bölünmüyorsa sonucu okumadan önce dağıtım kodunu kontrol edin. Sapma genelde bot filtresinden veya önbellekten gelir.
- Aynı kişi iki kolda birden görünüyorsa karşılaştırma zaten bozulmuştur. Kimliği oturuma değil kullanıcıya bağlayın.
- Olay kaydı eksikse görev süresi değil, kaydedilebilen süre ölçülür. Başlangıç ve bitiş olaylarını teste başlamadan doğrulayın.
Uygulama sırası
- Kararı yazın: bu araştırma hangi soruyu kapatacak.
- Metriği ve eşiği önceden sabitleyin.
- Görev ve cihaz çeşitliliğini katılımcı sayısından önce artırın.
- Sürpriz bulguyu tekrarlayın; tekrarlanmayanı raporda karar değil gözlem olarak bırakın.