SUS, SEQ ve NASA-TLX: Hangi Ölçüm Neyi Söyler

SUS, SEQ ve NASA-TLX farklı sorular sorar ama aynı işi yapar: kullanıcının algısını sayıya çevirir. Sayıya dönüşen algı da kısa süre sonra nesnel bir başarı ölçütü gibi okunmaya başlar. Hangisinin gerçekten karar verdirdiği, büyük ölçüde kaç kişiyle çalıştığınıza bağlı.

SUS teşhis değil, termometre

SUS on maddelik sabit bir ölçek, oturumun sonunda uygulanır ve 0 ile 100 arasında tek bir sayı verir. Bu sayı yüzde değildir, ölçeğin kendi dağılımı içindeki yerdir. Sık tekrarlanan "68 ortalamadır, 80 üzeri iyidir" eşiği de evrensel bir yasa değil, birikmiş bir kıyas kümesinin ortalaması. Kurumsal bir muhasebe ekranıyla bir haber sitesinin aynı eşikle ölçülmesi kendi başına tuhaf duruyor.

Asıl sınırı başka yerde: SUS size bir şeyin bozuk olduğunu söyler, neyin bozuk olduğunu söylemez. 62 puan bir bulgu değil, bir soru işaretidir.

Beş kişiyle alınan SUS puanı ne söyler

"Beş kullanıcı yeter" kuralı kullanılabilirlik sorunlarını bulmak için ortaya atılmıştı, puan üretmek için değil. Aradaki fark aritmetikte görünür.

SUS puanlarının standart sapmasını 17 kabul edelim; yayınlanmış kıyas kümelerinde bu bant makul. Beş katılımcıyla ortalamanın %95 güven aralığı yaklaşık ±21 puana çıkar. Yani ölçtüğünüz 68, gerçekte 47 ile 89 arasında herhangi bir yer olabilir ve "ortalama" ile "çok iyi" arasındaki farkı ayırt edemezsiniz. Otuz katılımcıda aynı hesap ±6 puana iner, eşikler ancak orada anlam kazanır.

Bu, beş kişilik testin değersiz olduğu anlamına gelmiyor. Beş kişilik testten çıkan şey puan değil, izlediğiniz ekran kayıtları ve duyduğunuz cümlelerdir. Puanı da toplayın, ama raporun başlığına koymayın.

SEQ görev düzeyinde ölçtüğü için karar verdirir

SEQ tek bir sorudur: görev biter bitmez "bu görevi ne kadar kolay buldunuz?". Ölçüm deneyimin tazeliği bozulmadan alınır ve puan tek bir göreve bağlıdır.

SEQ'yu iterasyon kararı vermek için SUS'tan daha güvenilir buluyorum. Nedeni istatistik değil, adres: düşük bir SEQ hangi ekranda, hangi adımda tıkandığınızı gösterir; düşük bir SUS bütün ürünü suçlar. Bir sonraki sprintte ne yapılacağına SEQ ile karar verilebilir, SUS ile verilemez.

Toplaması da ucuz. Görev tamamlanma olayına bağlı tek soruluk bir bileşen ve arka uçta tek bir tablo yeter, üçüncü parti anket aracına gerek yok. Puanın yanına serbest metin alanı koymayı atlamayın; "3 verdim" cümlesi tek başına hiçbir şey anlatmıyor.

NASA-TLX'i her yere taşımayın

NASA-TLX zihinsel yük, fiziksel yük, zaman baskısı, performans algısı, çaba ve hayal kırıklığını ayrı ayrı sorar, sonra bu boyutları ikili karşılaştırmayla ağırlıklandırır. Kökeni havacılık kokpiti: hata payının düşük olduğu, kullanıcının aynı anda birden fazla iş yürüttüğü ortamlar.

Ağırlıklandırma turu altı boyut için 6×5/2, yani 15 ikili karşılaştırma demek. Bir e-ticaret ödeme akışında bunu uygulamak, ölçtüğü yükten fazlasını katılımcının üstüne yığar; boyutları açıklamak ve sonucu yorumlamak akışın kendisinden uzun sürer. Klinik yazılım, üretim paneli, işlem terminali gibi yerlerde ise yerini başka bir ölçek tutmuyor.

Standart ölçek mi, kendi sorularınız mı

Standart ölçeğin tek gerçek avantajı karşılaştırılabilirlik: aynı soruları başkaları da sorduğu için puanınız bir bağlama oturur. Hiç karşılaştırma yapmayacaksanız bu avantaj sıfırdır ve elinizde kalan şey, sizin ürününüz için yazılmamış on maddedir.

Buradaki asıl hata ikisini karıştırmak. SUS'un ifadelerini "ürüne uyarlayalım" diye değiştirdiğiniz anda karşılaştırılabilirlik biter, ama çoğu rapor sonucu hâlâ SUS diye sunar ve 68 eşiğiyle kıyaslar. Değiştirdiyseniz o artık sizin ölçeğinizdir: kendi adıyla anın, kendi geçmişinizle kıyaslayın.