Kullanıcı Röportajları Neyi Gösterir, Neyi Göstermez

Röportaj bir keşif aracıdır, karar aracı değil. Kullanıcının neyi problem saydığını ve bunu hangi kelimelerle anlattığını öğrenirsiniz; hangi menü yapısının işe yaradığını öğrenemezsiniz. Bu iki soruyu ayırmayan ekipler, sonradan testle düzeltecekleri tasarım kararlarını röportaj kaydına dayandırıyor.

Röportajın cevapladığı sorular

Röportaj üç şeyi güvenilir biçimde üretir: kullanıcının konuya dair tutumu, bir işi neden yaptığına dair gerekçesi ve o işi anlatırken kullandığı dil. Sonuncusu genellikle küçümsenir, oysa arayüz metnini yazarken elinizdeki en iyi kaynak odur. Ekibin “içerik yayınla” dediği yere kullanıcı “siteye koymak” diyorsa, tartışılacak bir şey kalmamıştır.

Cevaplayamadıkları da net. Bir bileşenin işe yarayıp yaramadığı, henüz var olmayan bir özelliğin nasıl kullanılacağı, çok katmanlı bir navigasyonun pratikte bulunup bulunmadığı: bunların hiçbiri konuşarak ölçülmez. Kullanıcıya “ne istersin” diye sormak, çoğu zaman istemediği bir özelliğin talep olarak kayda geçmesiyle biter.

Hatırlamanın sınırı

Yöntem anlatan metinlerde iki tavsiye yan yana durur ve çelişkili görünür: kullanıcılar geçmişi doğru hatırlamaz, ama kritik olay yöntemiyle geçmiş bir olayı sorun. İkisi de doğru, çünkü hatırlama tek biçimde çalışmıyor. Rutin, tekrar eden ve sonucu olmayan kullanım hatırlanmaz, o boşluk anlatı sırasında doldurulur. Sonucu olan olay hatırlanır: işi baştan yapmak, para kaybetmek, birini aramak zorunda kalmak, yarıda bırakıp kapatmak.

Yani soru, bu ayrımın doğru tarafına kurulur. “Genelde nasıl kullanıyorsunuz” sorusunun cevabı üretilir. “En son ne zaman yarıda bıraktınız, sonra ne yaptınız” sorusunun cevabı hatırlanır. Aradan aylar geçmişse detay değil sonuç kalır; o yüzden süre sormayın, sıra sorun.

Sorgu etkisi

Soru sorduğunuzda kullanıcı cevap üretir, bilmediği konularda bile. Bu yüzden fikir değil olay sorulur. Yönlendirici sıfatları soruya koymayın: “kolay mıydı” sorusu kolaylık ekseni dayatır, “o ekranda ne yaptınız” dayatmaz. Cevap kısa geldiğinde araya girmeyin, sessizlik çoğu röportajda ek sorudan daha çok bilgi getiriyor.

Bulguyu neyle doğrularsınız

Röportaj nedeni verir, kullanım testi davranışı gösterir, ölçüm ise ölçeği söyler. Üçünün birbirini doğruladığı yer güvenilir bulgudur; ayrıştıkları yer ise genellikle daha ilginçtir, çünkü orada kullanıcının anlattığı hikâye ile yaptığı iş arasında bir fark vardır.

Kullanıcının “burası yavaş” cümlesini tek başına, aynı ekranın ölçülmüş yükleme süresinden daha zayıf bir kanıt bulurum. Ama o cümle hangi isteği ölçeceğinizi söylediği için ikisini birlikte kullanmak gerekir: röportaj nereye bakacağınızı, kayıtlar orada gerçekten ne olduğunu verir. Bir iddianın kayıtlarda karşılığı varsa tartışma orada biter.

Önceliklendirmede de aynı mantık geçerli. Kaç kişinin aynı şeyden şikâyet ettiği tek başına yeterli değil, o olayın kullanıcıya kaça mal olduğu belirleyici. Beş kişinin sinir bozucu bulduğu bir animasyon ile iki kişinin işini baştan yapmasına yol açan bir kayıt hatası aynı listede değildir.