UX Benchmark Kurmak: Ölçümü Tekrarlanabilir Hale Getirmek
UX benchmark'ı, bir ürünün deneyimini aynı yöntemle iki kez ölçüp aradaki farka bakma işi. Süreç olarak basit; zor olan kısım ölçümün ikinci seferde de aynı ölçüm olarak kalması. Aşağıdaki adımlar sırayla kurulduğunda altı ay sonra aynı testi tekrar çalıştırıp sonucu öncekinin yanına koyabilirsiniz.
Önce görev listesini daraltın
Ürünün tamamı ölçülmez. Kullanıcının gerçekten yaptığı üç beş görevi seçin ve her birini gözlenebilir tek bir cümleyle yazın: "sepetteki ürünün adedini değiştir", "kayıtlı kartla ödemeyi tamamla". "Kolay alışveriş deneyimi" ölçülebilir bir görev değil, çünkü birinin başlayıp bitirdiği bir eylem değil.
Seçerken sıklık ile maliyeti ayrı ayrı düşünün. Günde yüz kez yapılan bir işlemdeki iki saniye, ayda bir yapılan bir işlemdeki iki dakikadan daha pahalı.
Metriği görevle birlikte sabitleyin
Google'ın HEART çerçevesi metrik seçerken iyi bir kontrol listesi: memnuniyet, etkileşim, benimsenme, kalıcılık, görev başarısı. Ama benchmark için hepsi eşit dayanıklı değil. Görev tamamlama oranı ve görev süresi ikinci ölçümde de aynı şeyi ölçmeye devam eder; NPS gibi tek soruluk göstergeler ürünün değil markanın o ayki halini yakalar ve bir kampanya bile rakamı oynatır.
Görev süresini kullanıcıya sormayın, olaydan ölçün. Başlangıç ve bitiş için iki event yeter; bunu üçüncü parti bir analiz paketi kurmadan da toplayabilirsiniz, çünkü ihtiyacınız olan tek şey iki zaman damgası ve bir oturum kimliği. Hazır araç kurmanın asıl bedeli lisans değil, aracın kendi tanımladığı "oturum" ve "etkileşim" kavramlarını sonradan sizin görev tanımınıza çevirmeye çalışmak.
Örneklem: ölçüm testi ile keşif testi aynı şey değil
Beş kullanıcının sorunların çoğunu ortaya çıkardığı kuralı, sorun bulmak için geçerli. Sayı üretmek için değil. Aradaki fark aritmetikte görünüyor: görev tamamlama her katılımcı için ikili bir sonuç olduğundan, beş kişiyle ölçtüğünüz oran yalnızca altı değer alabilir. Sıfır, 20, 40, 60, 80, 100. Yani ölçüm aletinizin çözünürlüğü 20 puan. On puanlık bir iyileşmeyi tanım gereği göremezsiniz, gördüğünüz her fark ise bir kişinin görevi bitirip bitirmemesinden ibaret.
Benchmark için katılımcı sayısını yirmi civarına çıkarmak gerekiyor, hem de her ölçüm turu için ayrı ayrı. Bu bütçeye sığmıyorsa dürüst çıkış yolu şu: kullanılabilirlik testini sorun bulmak için beş kişiyle yapın, sayısal takibi de canlı üründeki davranış verisinden alın. İkisini tek bir oturumda birleştirip "ölçtük" demeyin.
İlk ölçümü alın, sonra tasarımı değiştirin
İlk tur, elinizdeki ürünün bugünkü hali. Bu turun koşullarını yazıya dökün: görev metinleri, katılımcı seçme ölçütleri, cihaz, tarih, o hafta yürüyen kampanyalar. İkinci turda bu listeye bakacaksınız.
Değişiklik tarafında en sık yapılan hata, iki ölçüm arasına yirmi değişiklik sıkıştırmak. Sonuç iyileşse bile hangisinin işe yaradığını bilemezsiniz, kötüleşirse hangisini geri alacağınızı da. Akışın tamamı yeniden yazılacaksa yeniden yazın, ama o zaman ölçtüğünüz şey "yeni akış eskisinden iyi mi" sorusudur; bileşen düzeyinde bir cevap beklemeyin.
İkinci ölçümü aynı koşullarda alın
Aynı görev metni, aynı katılımcı profili, aynı ölçüm yöntemi. Görev cümlesindeki bir kelimeyi bile değiştirdiyseniz karşılaştırma geçersiz; kullanıcı farklı bir şey aramaya başlar. Zamanlamada da acele etmeyin, mevcut kullanıcıların yeni arayüze alışması için ürünün kullanım sıklığına bağlı bir süre tanıyın. Günde açılan bir uygulamada bir hafta yeterli, ayda bir açılanda iki ay bile erken.
Farkı yorumlamak
İki ortalama arasındaki her fark bir iyileşme değil. Rapora ortalamayla birlikte dağılımı da koyun: kaç kişi, kaç tanesi görevi bitirdi, süreler nasıl yayıldı. Ortalama süre 48 saniyeden 41'e indiyse ve bunu on sekiz kişiyle ölçtüyseniz, tek bir katılımcının takılıp kalması ortalamayı ne kadar oynatırdı sorusunun cevabı raporun içinde olmalı.
Örneklemin ürünün tüm kullanıcılarını temsil etmediğini de not edin. Test katılımcıları çoğunlukla yeni kullanıcı gibi davranır, oysa asıl kalabalık ürünü yıllardır kullanan ve kısayolları ezberlemiş kişiler olabilir. Bu iki grubun aynı görevdeki süresi birbirinin katı çıkar.
Sayıyı kuruma anlatmak
Yatırım geri dönüşü hesabı her zaman gerekmiyor. Çoğu durumda "aynı görevi tamamlayanların oranı 62'den 84'e çıktı" cümlesi tek başına yeterince ikna edici. Parasal karşılık aramak gerekiyorsa en sağlam bağlantı destek tarafında: formdaki bir düzeltmeden sonra o konuyla açılan destek kaydının sayısındaki düşüş, hem ölçülebilir hem de doğrudan bir maliyet kalemine karşılık geliyor.
Bulguları paylaşırken varsayımları ve sınırlamaları da aynı belgeye yazın. Altı ay sonra ölçümü tekrarlayacak kişi büyük ihtimalle siz olmayacaksınız, ve o kişinin elinde sadece rakam varsa aynı testi kuramaz.