Kantitatif UX Sözlüğü: Metrikler, Ölçekler ve İstatistik Terimleri

Kantitatif UX araştırması sayı üretir, ama sayının hangi türden olduğunu bilmeden ortalama almak insanı yanlış karara götürür. Aşağıda başarı oranından güven aralığına kadar sık kullanılan terimleri tanımlıyorum ve her birinin hangi istatistikle birlikte anlam kazandığını gösteriyorum. Sıra rastgele değil: önce metriğin türü, sonra ölçümün kendisi, en sonda yorum.

Kantitatif araştırma neyi ölçer

Kantitatif UX araştırması sayılabilir olanı ölçer: kaç kullanıcı görevi tamamladı, ne kadar sürdü, hangi ekranda kaç kişi düştü. Sık tekrarlanan "kullanıcıların nasıl ve neden davrandığını gösterir" cümlesi yarı yanlıştır. "Neden" sorusunun cevabı sayıda değil, kullanıcıyı izlerken duyduğunuz cümlededir. Kantitatif veri size nerede bir sorun olduğunu söyler, sorunun ne olduğunu değil.

Metriğin türü analizi belirler

Bir UX metriği üç türden birine girer ve türü, hangi istatistiği kullanabileceğinizi doğrudan kısıtlar.

• Binary (ikili) metrik: yalnızca iki değer alır. Görev tamamlandı ya da tamamlanmadı. Özeti bir orandır.
• Sürekli metrik: bir aralıkta herhangi bir değeri alabilir. Görev süresi, tıklama sayısı. Ortalama, medyan ve standart sapma burada anlamlı.
• Kategorik metrik: sıralaması olmayan sınırlı bir seçenek kümesi. Kullanıcının seçtiği ödeme yöntemi gibi. Frekans sayarsınız, ortalamasını almak anlamsızdır.

Bir de değişken tarafı var. Değiştirdiğiniz şey bağımsız değişkendir, iki farklı form tasarımı gibi; ölçtüğünüz şey bağımlı değişkendir, tamamlama oranı gibi. Aynı testte ikiden fazla şeyi birden değiştirirseniz sonucu hangi değişikliğin ürettiğini ayıramazsınız.

Başarı oranı ve görev süresi

Başarı oranı en çok kullanılan metriktir, çünkü açıklaması kolaydır: 20 kullanıcıdan 14'ü görevi bitirdiyse oran %70. Sorun, bu oranın tek bir kesin sayı gibi raporlanmasında. Küçük örneklemlerde klasik oran aralığı formülü yanıltır, özellikle sonuç 0'a ya da %100'e yaklaştığında aralığın sınırı anlamsız yerlere taşar. Oran metrikleri için düzeltilmiş (adjusted Wald) güven aralığı kullanmak gerekir.

Süre metriğinde tuzak başka yerde. Görev süreleri simetrik dağılmaz, sağa çarpıktır: çoğu kullanıcı birbirine yakın bir sürede bitirir, birkaç kişi bir yerde takılır ve aritmetik ortalamayı tek başına yukarı çeker. Görev süresini medyanla ya da geometrik ortalamayla özetlemek daha dürüst bir resim verir.

Ölçümün kendisi de bir mühendislik işi. Bir projede görev sürelerini sunucu loglarından çıkarmıştık; sayaç ilk isteğin ulaştığı anda başladığı için kullanıcının ekranı okuduğu ilk saniyeler hiçbir kayda girmemiş, bütün süreler sistematik olarak kısa görünmüştü. Sayacın nerede başlayıp nerede durduğunu yazmadan raporladığınız süre, başka bir ölçümle karşılaştırılabilir bir sayı değildir.

Ölçekler: Likert, SUS, NPS, NASA-TLX

Öznel metrikler kullanıcının ne yaptığını değil, ne hissettiğini sorar. Davranış verisiyle birlikte okunduklarında işe yararlar, tek başlarına kaldıklarında değil.

• Likert ölçeği: "kesinlikle katılmıyorum"dan "kesinlikle katılıyorum"a uzanan 5 ya da 7 dereceli katılım ölçeği. Sıralı bir ölçektir: 4 ile 5 arasındaki mesafenin 1 ile 2 arasındakiyle eşit olduğu garanti değildir, bu yüzden tek bir maddenin ortalamasını almak tartışmalıdır. Dağılımı göstermek daha güvenli.
• SUS (System Usability Scale): 10 maddelik standart anket, 0 ile 100 arasında tek bir puan üretir. Bu puan yüzde değildir. 70 puan, kullanıcıların %70'inin memnun olduğu anlamına gelmez, ölçeğin kendi dağılımı içinde bir konumdur.
• NPS (Net Promoter Score): önerme istekliliğini -100 ile 100 arasında özetler. Tasarım kararı için kaba bir araçtır, çünkü 0-10 arası cevapları üç kutuya indirirken 6 veren kullanıcıyla 0 veren kullanıcıyı aynı yere yazar.
• NASA-TLX: algılanan iş yükünü altı boyutta ölçer: zihinsel, fiziksel ve zamansal talep, performans, çaba, engellenme. Çok adımlı ve yoğun arayüzlerde genel bir memnuniyet sorusundan çok daha ayrıntılı bilgi verir.
• Post-task anketi: her görevin hemen ardından sorulan kısa soru. Oturumun sonuna bırakılan genel değerlendirmeye göre avantajı, kullanıcının hafızasının hâlâ taze olması.

Between-subjects ve within-subjects

Between-subjects tasarımda her katılımcı tek bir koşulu görür: bir grup A tasarımını dener, diğer grup B'yi. Within-subjects tasarımda aynı katılımcı iki tasarımı da dener.

Within-subjects daha az katılımcıyla daha duyarlı bir karşılaştırma verir, çünkü kişiler arasındaki hız farkını denklemden çıkarır. Bedeli öğrenme etkisidir: ikinci tasarıma geçen kullanıcı görevin ne olduğunu zaten öğrenmiştir ve doğal olarak daha hızlıdır. Bu yüzden sıra dengelemesi (counterbalancing) şarttır, yani katılımcıların yarısı önce A'yı, diğer yarısı önce B'yi görmelidir. Sıra dengelemesi yapılmamış bir within-subjects testi tasarımı değil, alıştırmayı ölçer.

Güven aralığı, p-değeri ve çoklu karşılaştırma

Güven aralığı, elinizdeki ölçümün etrafındaki belirsizliği gösterir. %95'lik bir aralık, aynı çalışmayı defalarca tekrarlasanız hesapladığınız aralıkların yaklaşık %95'inin gerçek değeri içereceği anlamına gelir. Pratikteki karşılığı basit: 12 kişiyle ölçülen %75'lik bir başarı oranı, aslında %50 ile %90 arasında bir yerde olabilir ve bu genişlikte bir aralıkla iki tasarımı karşılaştıramazsınız.

p-değeri de sık sık yanlış okunur. p, aradaki farkın gerçek olma olasılığı değildir; fark yokken bu büyüklükte bir farkı görme olasılığıdır. 0,05 eşiği bir gelenektir, doğa yasası değil.

Asıl sessiz hata çoklu karşılaştırmada. Bir testte on metriği aynı anda 0,05 eşiğiyle kontrol ederseniz, metriklerin hiçbiri gerçekte farklı olmasa bile en az birinin "anlamlı" çıkma olasılığı 1 - 0,95 üzeri 10, yani yaklaşık %40'tır. Rapor genelde şöyle yazılır: on metrik ölçülmüş, ikisi anlamlı çıkmış, sunum o ikisinin üzerine kurulmuştur. Hangi metriğe bakacağınıza testten önce karar verin, sonuçlara baktıktan sonra değil.

İçsel ve dışsal geçerlik

İçsel geçerlik, ölçtüğünüz farkın gerçekten değiştirdiğiniz şeyden mi kaynaklandığı sorusudur. Sıra dengelemesi yapılmamış bir test, farklı saatlerde farklı gruplara uygulanan bir görev, moderatörün bir gruba fazladan ipucu vermesi; hepsi içsel geçerliği düşürür.

Dışsal geçerlik ise bulgunun laboratuvarın dışında da geçerli olup olmadığıdır. Temiz bir test hesabıyla, sabit bir senaryoyla, dikkat dağıtıcısı olmayan bir odada ölçtüğünüz süre, kullanıcının otobüste tek eliyle yaşadığı süre değildir. Benchmark çalışmalarının değeri de tam burada: mutlak sayının kendisini değil, aynı koşulda tekrarlanan ölçümün zaman içindeki yönünü verirler.