UX Benchmarking: Ölçümü Tekrarlanabilir Kılmak

UX benchmarking, bir arayüzün deneyimini sabit bir yöntemle ölçüp bir süre sonra aynı yöntemle yeniden ölçmektir. Tek seferlik bir rapor değil, karşılaştırılabilir bir ölçüm dizisidir. Zor kısmı metrik seçmek değil; iki ölçüm arasındaki farkın gerçek mi yoksa gürültü mü olduğunu söyleyebilmek.

Ölçümü ayakta tutan şey protokol

Benchmark bir sayı değil, o sayıyı üreten koşullar bütünüdür. Görev metni, kullanıcı profili, cihaz, giriş noktası, yardım alınıp alınmadığı: bunların hepsi ölçümün parçası. Birini değiştirdiğiniz anda elinizdeki iki sayı artık aynı şeyi ölçmüyor.

Pratikte bu, ilk turda kullandığınız görev listesini kelimesi kelimesine saklamak demek. "Bir ürün bulup sepete ekleyin" ile "Kırmızı bir mont bulup sepete ekleyin" arasındaki fark, ikinci turda göreceğiniz süre farkının tamamını tek başına açıklayabilir.

Metrikler ve ortalamanın tuzağı

Dört ölçüm çoğu ürün için yeterli: görev başarı oranı, görev süresi, görevi tamamlarken yaşanan hata sayısı ve görev sonrası kolaylık puanı (tek soruluk 1-7 ölçeği iş görür). Uzun dönem tutma oranını da ekleyebilirsiniz ama o, arayüzden çok ürünün kendisini ölçer.

Süre verisinde aritmetik ortalama yanıltır. Görev süreleri sağa çarpık dağılır: kullanıcıların çoğu 40 saniyede biten bir işi 12 dakikada bitiren tek bir katılımcı, ortalamayı kendi başına yukarı çeker. Süre için medyan ya da geometrik ortalama kullanın, ortalamayı rapora hiç koymayın.

Bir projede analitikten gelen ortalama form doldurma süresiyle laboratuvarda ölçtüğümüz süre arasında sekiz kat fark çıkmıştı; sebebi, sekmeyi açık bırakıp öğle yemeğine giden kullanıcıların analitik tarafında hâlâ görev üstünde sayılmasıydı.

Neyle karşılaştıracaksınız

Dört referans noktası var ve hepsi eşit güvenilir değil.

• Ürünün önceki sürümü. En sağlamı. Kullanıcı kitlesi, görevler ve ölçüm ortamı sizin kontrolünüzde.
• Kendi belirlediğiniz hedef. Sağlam, çünkü tartışması ölçümden önce yapılıyor.
• Sektör ortalamaları. Kaba ama iş görür. MeasuringU gibi kaynaklar görev tipine göre referans değerler yayımlıyor.
• Rakipler. En zayıfı. Rakibin arayüzünde test ettiğiniz kişiler o ürünün gerçek kullanıcıları değil, sizin bulduğunuz katılımcılar; ölçtüğünüz şey büyük ölçüde "ilk kez karşılaşma" deneyimi oluyor.

Elinizde geçmiş veri yoksa rakip ölçümüyle başlamak yerine kendi ilk turunuzu alın ve onu sıfır noktası ilan edin. Rakip karşılaştırması sunumda etkileyici durur, karar vermek için zayıftır.

Küçük örneklemde fark okumak

Kullanılabilirlik testinin 5 kullanıcıyla sorun bulma kuralı, benchmark için geçerli değil. Sorun bulmak ayrı iştir, oran tahmin etmek ayrı.

Somut örnek: 10 kullanıcının 8'i görevi tamamladı, başarı oranı %80. Bu oranın %95 güven aralığı, düzeltilmiş Wald yöntemiyle kabaca %48 ile %95 arasında uzanıyor. Yani gerçek başarı oranınız yazı tura atmakla aynı seviyede de olabilir. Böyle bir örneklemde önceki turun %70'inden %80'e çıkmak hiçbir şey kanıtlamaz.

Oran ölçecekseniz moderatörsüz uzaktan testle 60-100 katılımcıya çıkın. Çıkamıyorsanız da sayıyı raporlayın, ama yanına aralığını yazın. Aralıksız bir benchmark tablosu karar aracı değil, süstür.

Ölçümün zamanı

Benchmark özetleyici bir ölçümdür: tasarım döngüsü kapandıktan sonra, ürün kararlı haldeyken alınır. Yeniden tasarımın ortasında ölçmek hareketli hedefe nişan almaktır, çıkan sayı bir hafta sonra anlamsızlaşır.

Yılda bir tam tur, çoğu ekip için yeterli. Analitik tarafındaki metrikler (dönüşüm, terk, adım tamamlama) sürekli akar zaten; asıl masraflı olan görev tabanlı ölçümü nadir ama disiplinli yapın. Protokol sabit kaldığı sürece seyrek ölçüm, sık ama her seferinde biraz farklı yapılan ölçümden daha değerlidir.

Sayıyı iş diline çevirmek

ROI hesabı basit görünür: iyileşmeden gelen gelir artışı ile düşen destek maliyetini toplayıp yatırımı çıkarır, yatırıma bölersiniz. Hesabın zayıf yeri formülde değil, nedensellikte. Yeni arayüzü kampanya dönemine denk getirip dönüşümdeki artışı tasarıma yazarsanız, bir sonraki çeyrekte aynı yöntemle kendinizi yalanlarsınız.

Katkıyı ayırmanın yolu, değişikliği kademeli açmak: kullanıcıların bir kısmı yeni akışta, bir kısmı eskisinde kalsın. İki grubun aynı dönemdeki farkı, öncesi ile sonrasının farkından çok daha savunulabilir bir rakamdır.