Nicel Kullanılabilirlik Verisi Tam Olarak Nerede Yanıltır
Nicel kullanılabilirlik verisinin sorunu yanlış olması değil, doğru olduğu halde sorduğunuz soruya cevap vermemesi. Bir oran her zaman bir şeyi ölçer; o şeyin tasarım kararınızla ilgisi ayrı bir iddiadır ve kanıtlanması gerekir. Aşağıdakiler, verinin en sık kırıldığı üç yer.
Yirmi test, tek "anlamlı" sonuç
Bir çalışmada yirmi ayrı karşılaştırma yapıp p<0,05 eşiğine bakıyorsanız, hepsinin gerçekte etkisiz olduğu durumda bile en az bir tanesinin anlamlı çıkma olasılığı 1 − 0,9520, yani yaklaşık %64'tür. Bu bir ihtimal değil, beklenen sonuç. Yirmi metriği aynı anda kesip biçen bir panonun size "bulduğu" ilişki, çoğu zaman bu hesabın çıktısıdır.
Çare karşılaştırmayı azaltmak. Hangi metriğe bakacağınızı testten önce yazın, kaç tane bakacağınızı da. Sonradan bulunan ilişki bulgu değil hipotezdir; bir sonraki çalışmada, önceden ilan edilerek sınanır. Bunu yapmayan ekiplerin raporlarında sürekli yeni ve heyecan verici korelasyonlar çıkmasının sebebi de bu.
Beş kullanıcı kuralı ne söylüyor
Nielsen Norman Group'un beş kullanıcı önerisi keyfi bir sayı değil, bir formülden geliyor: her kullanıcının arayüzdeki sorunların ortalama %31'ini ortaya çıkardığı varsayımıyla, beş kullanıcı 1 − (1−0,31)5, yani sorunların yaklaşık %85'ini görünür kılar. Buradaki çıktı bir bulma oranı. Ölçüm hassasiyeti değil.
Fark şurada: beş kişiyle "kullanıcılar ödeme adımında kart tipini bulamıyor" diyebilirsiniz. Aynı beş kişiyle "yeni tasarım tamamlanma oranını %6 artırdı" diyemezsiniz. İkinci cümle için kol başına yüzlerce katılımcı gerekir ve fark küçüldükçe gereken sayı hızla büyür. Beş kullanıcılık testten yüzde çıkarmak, en sık gördüğüm ölçüm hatası (sunumlarda o yüzdenin yanında güven aralığı da hiç durmuyor).
Panodaki sayı kodda nereye denk geliyor
Bir metriği tartışmaya açmadan önce onu üreten olayın nerede tetiklendiğine bakın. Çoğu panoda "görev tamamlandı" sayısı, kullanıcının işi bitirdiği anı değil isteğin sunucudan döndüğü anı sayar. İkisi arasında kalan her şey, yani hata dönen ama kullanıcının tekrar denediği akışlar, iki kez gönderilen formlar, geri tuşuyla dönülüp yeniden başlatılan adımlar, ya çift sayılır ya hiç sayılmaz.
Süre metrikleri daha da kırılgan. Oturum süresi ölçen çoğu kurulum, sekmesi açık unutulan kullanıcıyı zaman aşımına kadar sayar; ortalamaya bakan ekip de arayüzün yavaşladığını sanır. Olay şemasını okumadan metriğe güvenmek, testi çalıştırmadan koda güvenmekle aynı şey.
Nicel veri neyi iyi yapar
Bunların hiçbiri sayıları bırakın demek değil. Nicel veri üç işte açık ara en iyisidir: aynı metriği zaman içinde izleyip bozulmayı yakalamak, iki sürüm arasında önceden ilan edilmiş tek bir metrikte karar vermek, ve hangi ekranın kaç kişiyi ilgilendirdiğini görüp nereye bakacağınıza karar vermek.
Nitel çalışma bu üçünü yapamaz; buna karşılık sayının neden o değeri aldığını sadece o söyler. Doğru sıra da bu: nicel veri nereye bakacağınızı, gözlem ne göreceğinizi belirler. Tersine çevirip gözlemden yüzde, sayıdan gerekçe üretmeye kalkarsanız iki yöntemin de zayıf tarafını almış olursunuz.