Kullanılabilirlik Metrikleri: Hangi Sayıya Ne Kadar Güvenilir?
Başarı oranı, görev süresi, hata sayısı. Bu üç sayıyı toplamak kolay, zor olan onlara ne kadar güvenileceğine karar vermek. Beş kişilik bir testten çıkan "%80 başarı" ile üç yüz kişilik bir günlük veriden çıkan aynı yüzde tamamen farklı iki iddiadır, ve raporda ikisi de aynı görünür.
Beş kullanıcıyla ölçtüğünüz oranın çözünürlüğü
Beş katılımcıyla yapılan bir görev testinde başarı oranı yalnızca altı değer alabilir: 0, 20, 40, 60, 80, 100. Aradaki her şey ölçülemez. Dördü başardı, biri başaramadı diyelim; bu %80'in gerçek oranı ne kadar daraltıyor? Güven aralığını hesapladığınızda kabaca %36 ile %98 arasında bir bant çıkar. Yani aynı veri hem "ciddi bir sorun var" hem de "neredeyse kusursuz" yorumuyla uyumlu.
Bu, beş kişilik testi değersiz kılmaz. Sadece o testin ne için iyi olduğunu söyler: sorun bulmak için iyi, oran raporlamak için değil. Beş kişiyle çalışıyorsanız çıktınız yüzde olmamalı, "üç kişi filtre panelini hiç açmadı" gibi gözlem olmalı. Yüzdeyi savunmak istiyorsanız katılımcı sayısı yirmiden başlar.
Ortalama, süre verisinde yanıltır
Görev süreleri simetrik dağılmaz. Çoğu kullanıcı benzer bir bantta toplanır, birkaç kişi ise takılıp kalır ve kuyruğu sağa doğru uzatır. Aritmetik ortalama bu birkaç kişiyi ödüllendirir; on kişinin dokuzu görevi 40 saniyede bitirip biri 8 dakika uğraştığında ortalama, kimsenin yaşamadığı bir süreyi gösterir.
Geometrik ortalama bu tür sağa çarpık dağılımlarda merkeze daha yakın durur, kullanılabilirlik literatüründe görev süreleri için önerilen ölçü de budur. Peki takılan kişiyi tamamen atmak daha mı temiz olurdu? Hayır: o kişi verinin gürültüsü değil, muhtemelen bulgunun ta kendisi. Süreyi geometrik ortalamayla raporlayın, takılan katılımcıyı ayrı bir satırda anlatın.
Memnuniyet skoru neyi ölçtüğünü bilmeden okunmaz
NPS bir kullanılabilirlik ölçütü değil. "Tavsiye eder misiniz" sorusu markaya, fiyata, destek deneyimine, hatta o günkü ruh haline duyarlıdır; arayüzde değiştirdiğiniz bir akışın etkisini bu sorudan okuyamazsınız. Arayüz düzeyinde konuşacaksanız görev sonrası tek soruluk zorluk ölçeği (SEQ) ya da sistem düzeyi için SUS daha doğru araçlar. SUS'un pratik değeri, 0 ile 100 arasında verdiği skorun karşılaştırılabilir bir referansının olması: yaklaşık 68 ortalama kabul edilir, altı ve üstü buna göre okunur.
İkisini birlikte kullanmakta sakınca yok, yeter ki hangi soruya hangisiyle cevap verdiğiniz karışmasın.
Ölçümü teste değil ürüne bağlayın
Laboratuvar testi pahalı ve seyrek. Oysa başarı oranı ve görev süresi, ürünün kendisinden sürekli toplanabilir. Kritik akışın başına ve sonuna olay kaydı koy, aradaki zaman damgası farkını sakla: yarım günlük bir iş, karşılığında her sürümde kendiliğinden yenilenen bir eğri. Kronometreyle ölçülen süre gözlemcinin refleksine bağlıdır, olay kaydı ise değildir.
Burada tek dikkat noktası, kaydın görevi doğru sınırlaması. Kullanıcı sekmeyi açık bırakıp öğle yemeğine gittiğinde süre saatlere çıkar. Makul bir üst eşik koyup o oturumları ayrı işaretlemek, veriyi temizlemekten daha bilgilendirici olur: uzun oturumların oranı arttığında bu da bir sinyaldir.
Hangi metriği öne koyacaksınız
Her projede dört metriği birden takip etmek gerekmez. Ödeme akışında hata oranı diğer üçünün toplamından daha çok şey söyler. İçerik ağırlıklı bir üründe görev süresinin kısalması iyi haber bile olmayabilir; kullanıcı okumadan geçiyor olabilir. Metrik seçimi, ürünün başarısının neye benzediğine dair bir iddiadır ve bu iddiayı ölçüm başlamadan yazılı hale getirmek, sonradan verinin içinde işinize geleni aramanızı engeller.