Kullanıcı Testini Ekipçe İzlemek: Faydası ve Sınırı

Kullanıcı testini yalnızca araştırmacının izlediği projelerde bulgu rapora sıkışır, rapor toplantıda tartışılır, orada kalır. Geliştiricinin ve tasarımcının oturumu canlı izlemesi bu döngüyü kırıyor. Peki odaya daha çok kişi almak bulguyu sağlamlaştırır mı? Her zaman değil: iki oturum izleyip çıkan paydaş, gördüğü şeyi bütün kullanıcıların davranışı sanma eğiliminde.

Raporun ikna edemediğini oturum ikna eder

Bir bulguyu yazıyla aktardığınızda karşı tarafın ilk refleksi onu yorumlamaktır: örneklem küçüktür, kullanıcı dikkatsizdir, o ekran zaten değişecektir. Aynı kişi katılımcının imleci menüde üç kez gezdirip başa döndüğünü canlı gördüğünde tartışılacak bir şey kalmıyor. Kazanç ikna gücünde değil aslında, zaman kaybının ortadan kalkmasında: bulguyu savunmak için harcanan iki toplantı siliniyor.

Etkisi en net yazılım tarafında görünüyor. Bir projede kayıt adımındaki hata mesajını arka arkaya iki katılımcı fark etmeyince, oturumu izleyen geliştirici düzeltmeyi analiz toplantısını beklemeden aynı gün yaptı.

Yöneticinin izlemesi ise başka bir şeye yarıyor. Karar verici, bir kullanıcının kendi ürününde tıkandığını bir kez gördükten sonra araştırma bütçesini savunmak için ikna edilmeye ihtiyaç duymuyor. Bunun ürün kalitesine katkısı dolaylı ama kalıcı.

İki oturum izleyip oran çıkarmak

Sorun tam da burada başlıyor. Beş kişilik bir testin üç oturumuna katılamayan paydaş, gördüğü ikisinden birinde aksaklık çıktığında bunu "kullanıcıların yarısı takılıyor" diye aktarıyor. Oysa iki gözlemin birinden çıkan bir oranın güven aralığı kabaca %10 ile %90 arasına yayılır. Böyle bir aralık hiçbir karara dayanak olamaz.

Küçük örneklemli kullanıcı testi zaten oran ölçmek için tasarlanmadı. İşi sorunu bulmak: bir kişinin takıldığı yer çoğu zaman tasarımda gerçek bir kusura işaret eder, ama kaç kişinin takılacağını o testten öğrenemezsiniz. Frekans sorusunun yeri analitik, hata kayıtları, çağrı merkezi dökümü. Gözlemciye söylenmesi gereken tek cümle bu: burada "ne oluyor" sorusunun cevabını arıyoruz, "ne sıklıkta" sorusunun değil.

Peki paydaş yine de sayı isterse? İstemesi normal, çünkü önceliklendirme yapacak. Cevap oran uydurmak yerine şiddeti tarif etmek: kullanıcı kendi başına toparlandı mı, yoksa görevi tamamlayamadan mı bıraktı. Bu ayrım iki oturumdan da okunabilir, üstelik yanıltmaz.

Hafıza dramatik olanı seçiyor

Bir oturumda katılımcının sesli sinirlenmesi, ekibin altı ay boyunca anlatacağı hikâyeye dönüşür. Aynı gün sessizce ilerleyip formu yanlış doldurmuş ve bunu hiç fark etmemiş kullanıcı ise kimsenin aklında kalmaz. İkincisi neredeyse her zaman daha önemli bulgudur, çünkü kullanıcı hatasının farkında bile değildir ve destek kaydı açmayacaktır.

Empati de seçici çalışıyor. Gözlemlenen kişiye benzeyen ekip üyeleri onun sorunlarını daha yüksek sesle savunuyor. Bunu azaltmanın yolu ahlaki hatırlatma değil, dağıtım: her gözlemci farklı segmentten en az bir oturum izlesin, aynı profili üst üste izleyen kimse olmasın.

Gözlemciyi odaya değil ikinci ekrana alın

Katılımcının arkasında üç kişi oturduğunda test, testliğini kaybediyor. İnsanlar izlendiğini bildiğinde daha yavaş, daha dikkatli ve kendine daha çok güvenir görünerek çalışır. Gözlem ayrı bir odadan ya da uzaktan yayınla yapılmalı, gözlemci sayısı da üçü dördü geçmemeli.

Birkaç kural işi kolaylaştırıyor:

• Gözlemci sessiz kalır, soruyu yalnızca moderatör sorar. Tasarımı yapan kişi oturumda kendi kararını açıklamaya başladığı anda veri bozulur.
• Herkes farklı segmentten oturum izler, katılım listesi buna göre dağıtılır.
• Kayıt alınır, ama kayıt canlı izlemenin yerini tutmaz; uzaktaki ekip için vardır, gelmeyenler için mazeret değildir.

Asıl iş oturumdan sonraki yirmi dakikada

Testi izlemek tek başına bir şey üretmiyor. Oturum biter bitmez her gözlemci, kimseyle konuşmadan, gördüğü en önemli üç şeyi kendi yazsın. Sıra önemli: önce konuşulursa odadaki en yüksek sesli kişi herkesin hafızasını yeniden biçimlendirir, sonra da beş kişinin ortak kanısı sanılır. Notlar yazıldıktan sonra birleştirilir, tekrar eden gözlemler öne çıkar, ayrışanlar bir sonraki oturumda özellikle izlenir.

Bu yirmi dakika atlanırsa geriye ekibin "kullanıcılar şunu beğenmedi" diye hatırladığı bulanık bir izlenim kalıyor, ki bu rapor okumaktan daha kötü bir sonuç.