Kullanıcı Testini Gösteriye Dönüştürmeden Veri Toplamak
Bir kullanıcı testinin gösteriye dönüşmesi için kötü niyet gerekmiyor. Katılımcıyı seçerken, oturumu yönetirken ve raporu hazırlarken verilen üç ayrı küçük karar sonucu kendiliğinden izleyiciye hoş gelen yöne çekiyor. Bu üç noktayı ayrı ayrı ele almak gerekir, çünkü her birinde yanlılık farklı bir kılıkta geliyor.
Örneklem: konuşkanlık bir seçim kriteri değil
Katılımcı davetini yapan kişi genellikle oturumun seyredilebilir olmasını da ister. Bu istek, farkında olmadan, akıcı konuşan ve düşüncesini rahat aktaran insanları öne çıkarır. Oysa testin en değerli verisi tam tersi profilden gelir: ekranda sessizce takılıp kalan, iki denemeden sonra sekmeyi kapatan kullanıcı.
Seçimi kişilikten çıkarıp göreve bağlamak için elemeyi somut sorularla yapın. Ürünü gerçekte kim kullanacaksa, onun sahip olduğu alışkanlığı sorun: bu işi şu anda nasıl yapıyor, hangi aracı kullanıyor, son ne zaman denedi. Sesli düşünme yöntemine ihtiyacınız varsa bunu katılımcı profiliyle çözmeye çalışmayın; oturumun başında iki dakikalık bir ısınma göreviyle öğretin, dışadönük insan aramaktan daha güvenilir sonuç verir.
Oturumda yönlendirme iyi niyetle başlar
Moderatörün araya girmesi çoğunlukla kötü metodolojiden değil, rahatsızlıktan kaynaklanır. Karşınızdaki insan bir düğmeyi bulamıyor ve siz nerede olduğunu biliyorsunuz; sessizlik uzadıkça söylememek zorlaşıyor. Bu yüzden kural oturumdan önce yazılır, oturum sırasında verilmez.
Pratikte iki eşik yeter: kullanıcı ne kadar süre tıkanırsa müdahale edeceğiniz (30-40 saniye makul bir aralık) ve müdahalenin ne olacağı. Müdahale cevap vermek değil, düşünceyi açığa çıkarmaktır: "şu an ne yapmaya çalışıyorsunuz" sorusu, "sağ üstteki menüye bakın" cümlesinden gelen veriyi mahvetmez. Kullanıcının hataya girmesine, yanlış sayfaya gitmesine, geri dönmesine izin verin; kaydetmek istediğiniz şey zaten o.
Rapor: kimsenin yanlılık saymadığı yer
Bu konudaki yaygın tavsiye ikiye ayırır: testte tarafsız ol, sunumda etkileyici ol. Rapora çarpıcı klipleri koymak masum sayılır. Ama karar veren insanların çoğu ham kaydı hiç açmaz, gördükleri şey sizin seçtiğiniz dört dakikadır. Yani örneklemden temizlediğiniz yanlılık, tam kararın alındığı noktada geri gelir.
Klip seçimini dramaya göre değil, iki ölçüte göre yapın: kaç katılımcıda görüldü ve kullanıcıyı görevden ne kadar uzaklaştırdı. Tek kişide çıkan ama izlemesi çok etkileyici bir an rapora girebilir, yeter ki yanına "altı katılımcıdan birinde" notu düşülsün. Bu bir satırlık ek, bulgunun ağırlığını olduğu yerde tutar (raporun sonuna konan "tam kayıt talep edilebilir" cümlesinin işe yaradığını hiç görmedim).
Beş oturumdan oran çıkmaz
Kullanıcı testinin verdiği şey sayım, oran değil. Beş katılımcıyla çalışıyorsanız her gözlem sonucu 20 puan oynatır: bir kişi daha başaramadığında "başarısızlık oranı" %20'den %40'a çıkar. Böyle bir sayının güven aralığı neredeyse tüm skalayı kapsar, dolayısıyla slayta yazılan yüzde okuyucuya bilgi değil sahte bir kesinlik verir.
Doğru sunum biçimi sadedir: "altı katılımcıdan dördü fatura adresini bulamadı" ve arkasından nedeni. Gerçekten orana ihtiyacınız varsa kaynak oturum değil, ürünün kendisi olmalı; akıştaki adımları loglayıp huniyi ölçmek çoğu projede bir günlük iş ve binlerce kullanıcıdan veri getirir. Nitel test size problemin ne olduğunu söyler, oranı ancak canlı veri söyler.
Hangi noktada sıkı olmak gerekir
Bu üç noktanın ağırlığı eşit değil. Protokoldeki küçük kusurlar sonraki oturumda telafi edilebilir, ama yanlış seçilmiş örneklem ve dramaya göre seçilmiş klipler bütün çalışmayı taşınamaz hale getirir. Zamanınızın çoğunu kimi davet ettiğinize ve rapora neyi koyduğunuza harcayın.