Görev Başarı Oranı: Ölçmesi Kolay, Yorumlaması Zor

Bir kullanıcı testinde ölçülmesi en kolay şey, katılımcının görevi bitirip bitiremediğidir. Başarı oranı da bundan ibaret: görevi tamamlayan katılımcı sayısının toplam katılımcıya bölümü. Hesabı bu kadar basit olduğu için yanlış okunmaya da açık. Asıl iş sayıyı bulmakta değil, o sayının neyi söyleyip neyi söylemediğini bilmekte.

Ölçüm tam olarak neyi sayıyor

Formül tek satır: başaran katılımcı / toplam katılımcı. Buradaki belirsizlik formülde değil, "başardı" kelimesinde. Testten önce her görev için bitiş koşulunu yazmadıysanız, oturumu izleyen iki kişi aynı kaydı farklı işaretler.

Bitiş koşulu gözlemlenebilir bir durum olmalı: sipariş onay ekranının görünmesi, doğru kayıt üzerinde değişikliğin kaydedilmesi, aranan belgenin açılması. "Kullanıcı ürünü bulabildi mi" gibi bir ifade ölçülebilir değil. Görev tanımını sıkılaştırdığınız an, başarı oranı da anlamlı bir sayıya dönüşür.

Beş katılımcıyla çıkan %80 ne kadar bilgi taşır

Küçük örneklem burada asıl tuzak. Beş kişiyle test yaptıysanız ölçümün çözünürlüğü 1/5, yani 20 puan. Tek bir katılımcının bir yerde takılması oranı %80'den %60'a indirir ve elinizde bunun gerçek bir fark mı yoksa gürültü mü olduğunu ayırt edecek hiçbir şey yoktur.

Sayıyı aralıkla düşünmek daha sağlıklı. Beş kişiden dördünün başardığı bir görevde, %95 güven aralığı kabaca %27 ile %86 arasına yayılır. Yani "görevin beşte dördü tamamlandı" cümlesi doğrudur, "bu arayüzün başarı oranı %80" cümlesi değildir. Beş puanlık bir çözünürlük istiyorsanız yirmi katılımcıya çıkmanız gerekir, ki bu da moderatörlü bir testte çoğu ekibin bütçesini aşar.

Bu yüzden küçük testlerde oranı karar dayanağı değil, nereye bakacağınızı gösteren işaret olarak kullanın. Beş kişiden üçü aynı adımda takıldıysa değerli olan %60 değil, o adım.

İkili sonucun yetmediği yer: başarı seviyeleri

Başardı/başaramadı ikilisi, arada kalan durumları çöpe atar. Kullanıcı siparişi tamamlamış ama yanlış adrese göndermişse bu bir başarı mıdır? Kaydı dört denemede yapan biri ile ilk denemede yapan biri aynı hanede mi durmalı?

Dört seviyeli bir ölçek bu bilgiyi korur:

• Tam başarı: Görev doğru ve sorunsuz tamamlandı.
• Küçük hatayla başarı: Kullanıcı yanlış yöne saptı, fark etti, kendi düzeltti.
• Büyük hatayla başarı: Görev bitti ama geride yanlış veri veya geri alınamaz bir işlem kaldı.
• Başarısızlık: Görev bitmedi ya da kullanıcı bittiğini sandığı halde bitmedi.

Son maddedeki ayrım raporda ayrı durmalı. Kullanıcının hatayı fark etmeden çıktığı oturumlar, arayüzün geri bildirim tarafında bir sorun olduğunu söyler ve bu, tamamlanamayan bir görevden daha pahalıya patlar.

Seviyelere puan verip ortalama almayın. 1-2-3-4 gibi bir ölçekte "büyük hatayla başarı" ile "küçük hatayla başarı" arasındaki mesafe, "tam başarı" ile "küçük hata" arasındakiyle aynı değildir. Ortalama alındığında bu eşitsizlik kaybolur ve geriye yorumlanamayan bir 2,4 kalır. Her seviyenin yüzdesini ayrı yazmak hem daha dürüst hem de daha kullanışlı.

Başarı oranı ile dönüşüm oranı aynı tabloya girmez

Bunu ikisini yan yana koyarak raporlamam. Test ortamında ölçtüğünüz başarı oranı, görevi size verilen kişinin o görevi bitirip bitiremediğini söyler. Analitikteki dönüşüm oranı ise o adıma gelen herkesi sayar: niyeti olmayanı, fiyatı görüp vazgeçeni, sekmeyi açık unutanı.

Ölçüm yöntemleri de farklı. Dönüşüm oranı log ve olay kayıtlarından gelir, dolayısıyla yalnızca sizin göndermeyi düşündüğünüz olayları görür. Kullanıcının formu doldurup doğrulama hatasına takıldığı ve sessizce çıktığı durum, o olay ayrıca kaydedilmiyorsa hiçbir tabloda görünmez. Testte aynı an yüzünüze çarpar. İki ölçüm birbirini tamamlar, birbirinin yerine geçmez.

Yanında ne ölçmeli

Başarı oranı bir görevin sonucunu verir, sebebini vermez. Yanına iki şey koymak yeter: görev süresi ve hata kaydı. Sürede beliren uzun kuyruklar, başarıyla tamamlanmış ama zorlanılmış oturumları açığa çıkarır. Hataları ise türüyle ve hangi adımda olduğuyla birlikte not edin; sadece sayısı işe yaramaz.

Sesli düşünme tekniği de oturumun kendisinden fazladan maliyet çıkarmaz. Katılımcı "şimdi bunu nereden kaydedeceğim" dediği anda, sayının size hiçbir zaman söyleyemeyeceği şeyi söylemiş olur.