Memnuniyet Skoru ile Görev Metrikleri Neden Ayrışır?

Bir arayüzde görev süresi düşerken memnuniyet skorunun sabit kalması sık görülür. İki ölçüm farklı sorulara cevap veriyor, dolayısıyla birbirini doğrulamak zorunda da değiller. Asıl mesele hangisinin ne zaman karar verdirdiğini bilmek.

İki ölçüm, iki ayrı soru

Görev süresi, başarı oranı ve hata sayısı "kullanıcı bunu yapabildi mi" sorusuna cevap verir. Memnuniyet anketi ise "yaparken ne hissetti" sorusuna. Bu ikisinin ayrışması bir ölçüm hatası değil, çoğu zaman bilginin kendisi.

Ayrışma yönü de önemli. Yüksek performans ve düşük memnuniyet, genelde kullanıcının görevi tamamladığı ama süreçte kendini güvende hissetmediği anlamına gelir: onay ekranı yok, geri dönüş yolu belirsiz, ne olduğu anlaşılmıyor. Tersi durumda, yani düşük performans ve yüksek memnuniyette, kullanıcı çoğunlukla harcadığı çabanın farkında değildir. Bu, tasarımın iyi olduğunu değil, kıyas noktası olmadığını gösterir.

Ölçümü tam olarak nereden alıyorsunuz?

Görev süresini genelde arayüz tarafında ölçerim: ilk anlamlı etkileşimden onay ekranının göründüğü ana kadar. Sunucu tarafındaki yanıt süresi bunun sadece bir parçası, üstelik çoğu zaman küçük parçası. Kullanıcının beklediği süre içinde render, veri getirme, tekrar deneme ve kendi düşünme süresi de var.

Bu ayrım pratikte şuna dönüşüyor: yanıt süresini 400 ms'den 250 ms'ye indirdiğinizde ölçtüğünüz metrik iyileşir ama kullanıcı hiçbir şey hissetmez, çünkü onun saydığı süre üç ekran boyunca sürüyordur. Ölçmeye başlamadan önce görevin başlangıç ve bitiş olayını kodda somut olarak işaretleyin. "Formu doldurma süresi" gibi tanımlar, iki farklı kişi ölçtüğünde iki farklı sayı üretir.

Analitik araçları da bu noktada sınırlı. Google Analytics veya Search Console size sayfa ve trafik davranışını verir, görev başarısını vermez. Başarı oranı için ya kendi olaylarınızı işaretlemeniz ya da moderatörlü test yapmanız gerekir.

Anketi ne zaman sormalı?

Memnuniyet sorusunu görevin hemen ardından sorun, tasarımı uzaktan gösterip "nasıl buldunuz" diye değil. Görsel sunumla alınan skorlar sistematik olarak yüksek çıkar; kimse kullanmadığı bir arayüzün formunda takılmaz.

Peki ya kullanıcı görevi tamamlayamadan sorulursa? O skor da bilgi taşır, ama artık memnuniyeti değil, başarısızlığın nasıl yaşandığını ölçüyorsunuzdur. İki durumu aynı ortalamaya katmak, verinin anlamını siler. Tamamlayanlarla tamamlayamayanları ayrı raporlayın.

Küçük örneklemde ortalama ne söyler?

Beş kullanıcılı bir testte kullanılabilirlik sorunlarının önemli bölümünü görürsünüz, bu yaygın pratiğin arkasında sağlam bir gerekçe var. Ama aynı beş kişinin memnuniyet ortalaması bambaşka bir şey.

Hesap basit: 1-7 ölçeğinde standart sapma 1 civarındaysa, beş kişilik bir ölçümde ortalamanın standart hatası 1/√5, yani yaklaşık 0,45. İki tasarım arasındaki farkın standart hatası ise bunun √2 katı, 0,63 civarı. Yani 5,0 ile 5,8 arasındaki bir fark gürültüden ayırt edilemez. Rapora "memnuniyet arttı" diye yazılan şey çoğu zaman budur.

Sonuç olarak küçük örneklemde sayılan şeylere bakın: kaç kişi tamamlayabildi, nerede takıldı, hangi adımda geri döndü. Skor ortalamasını ancak katılımcı sayısı arttığında ciddiye alın.

Hangisi karar verdirir

İkisini eşit ağırlıkta izlemek kulağa dengeli geliyor ama karar anında işe yaramaz. Pratik ayrım şu: bir tasarım değişikliğine gitmek için görev metrikleri yeterlidir, çünkü nesnel ve tekrarlanabilir. Memnuniyet skoru ise değişikliğin gerekçesini değil, gözden kaçırdığınız yeri gösterir. Skor beklenmedik biçimde düşükken performans iyiyse, ölçmediğiniz bir şey var demektir: genelde güven, geri alınabilirlik veya bir sonraki adımın belirsizliği.