Kalitatif Kullanılabilirlik Testi: Katılımcı, Görev, Moderasyon
Kalitatif kullanılabilirlik testinde sonucu belirleyen üç karar var: kimi çağırdığınız, ne yapmalarını istediğiniz, ne zaman konuştuğunuz. Yöntemin kendisi basit, testi bozan şey bu üç yerdeki küçük hatalar. Aşağıdakiler doğrudan uygulanabilir kararlar.
Katılımcı sayısı: segment başına beş
Beş katılımcı kuralı sahada işe yarar, ama dayandığı varsayımı bilmeden uygulanınca yanlış yere götürür. Modelin kabulü şu: her katılımcının bir sorunu yakalama olasılığı p sabittir ve katılımcılar birbirinden bağımsızdır. Bu durumda n katılımcıyla görülen sorun oranı 1-(1-p)^n olur; p için 0,31 aldığınızda beş katılımcı sorunların yüzde 85 kadarını çıkarır. Hesabın çıkışı Nielsen Norman Group'un bu yazısında anlatılıyor.
Varsayımın kırıldığı yer belli: kullanıcı kitleniz tek tip değilse p herkes için aynı değildir. Yeni kullanıcının takıldığı nokta ile günlük kullanıcının takıldığı nokta aynı olmaz, biri diğerinin yerine geçmez. Dolayısıyla sayı toplamda beş değil, ayırdığınız her kullanıcı grubu için beş. İki segmentle çalışıyorsanız sekiz on kişilik bir tur planlayın, bütçe kısıtlıysa segment sayısını azaltın, katılımcıyı değil.
Modelin hiç söylemediği bir şey de var: hangi sorunların bulunacağı. Sık rastlanan sorunlar ilk turda çıkar, seyrek ama yıkıcı olanlar çıkmaz. Ödeme, silme, veri kaybı gibi akışlarda beş kişilik bir tur “sorun yok” demeye yetmez.
Görev yazımı: senaryo verin, tarif vermeyin
Görev metninde arayüzün kendi kelimelerini kullanırsanız cevabı söylemiş olursunuz. “Filtre menüsünden beden seçin” bir görev değil, talimattır; kullanıcının o menüyü bulup bulamayacağını ölçmek istiyorsanız menünün adını ağzınıza almayacaksınız. Hedefi verin: “42 numara, su geçirmeyen bir bot arıyorsun, bütçen 1.500 lira, uygun bir tane bulup sepete ekle.”
İki kural işi kurtarır. Görev somut bir bitişe bağlanmalı, yoksa başarının ne olduğu test sonrası tartışma konusu olur. Sıralama da kolaydan zora değil, kullanıcının gerçek yolculuğuna göre kurulmalı; kayıt olmadan yapılamayan bir işi ilk göreve koyarsanız oturumun yarısı kayıt formunda geçer.
Moderasyon: asıl beceri susmak
Sesli düşünme katılımcının kafasındaki modeli görünür kılar, fakat en yaygın hata tam burada yapılıyor: katılımcı sustuğu anda moderatörün devreye girmesi. Takıldığı yerde bekleyin. On saniyelik sessizlik genellikle oturumun en değerli verisini getirir, çünkü insan çıkmazda kendi varsayımını yüksek sesle söyler.
Soruyu da yönü tersine çevirerek sorun. “Neden oraya basmadınız” katılımcıyı savunmaya geçirir ve gerekçe uydurtur. “Şu anda ne yapmaya çalışıyorsunuz” niyeti açığa çıkarır. Gözlemciler varsa aynı odada oturmasınlar, ayrı bir kanaldan izlesinler; arkada bekleyen üç kişi katılımcının davranışını ölçülebilir biçimde değiştirir.
Uzaktan test: moderatörlü mü, moderatörsüz mü
Moderatörlü uzaktan testi moderatörsüzden belirgin biçimde daha güvenilir bulurum. Kalitatif testin değeri “nerede takıldı” bilgisinde değil “neden takıldı” cevabında ve o cevabı yalnızca o anda sorulan soru verir. Kaydı iki gün sonra izlerken sorulacak soru vardır, soracak kişi vardır, sorulacak an geçmiştir.
Moderatörsüz test yine işe yarar, ama başka bir işe: kısa ve tek yollu akışlarda çok sayıda kullanıcıdan hızlı gözlem toplamak. Onu keşif aracı değil doğrulama aracı sayın. Yöntemi seçerken tek soru yeter: elimde sınanacak bir hipotez var mı? Varsa moderatörsüz tur onu ucuza sınar. Yoksa moderatörlü oturuma ihtiyacınız var, çünkü ne aradığınızı henüz bilmiyorsunuz.
Bulguları uygulanabilir hale getirmek
Notları katılımcıya göre değil nedene göre gruplayın. Aynı yanlış anlamayı üç kişi arayüzün üç farklı yerinde yaşadıysa elinizde üç bulgu değil, bir bulgunun üç görünümü var ve düzeltilecek şey tek.
Her bulguya iki şey ekleyin: onu kanıtlayan kayıt anı (zaman kodu yeter) ve düzeltmenin tahmini maliyeti. Maliyetsiz rapor sıraya giremez, çünkü “etiket metnini değiştir” ile “akışı baştan kur” listede eşit ağırlıkta görünür ve ekip ikisine de dokunmaz. Bir sonraki turda aynı sorunu ölçmek için kullandığınız görev metnini olduğu gibi saklayın; görev değişirse iyileşmeyi karşılaştıracak zemin kalmaz.