Kullanıcı Görüşmeleri Neden Boşa Gider: Soru, Plan ve Analiz
Bir görüşme kötü gittiğinde suçu genellikle moderatörde arıyoruz. Oysa sorun çoğu zaman daha önce başlar: yanlış soru, yanlış yöntemle sorulmuştur. Görüşme, insanın bir şeyi nasıl anlamlandırdığını öğrenmek için iyi bir araç; ne yapacağını tahmin etmek için kötü bir araç. Bu ayrımı atlayan görüşmeler dolu dolu geçtiği hissini verir, sonra elde kullanılabilir hiçbir şey kalmaz.
Görüşme hangi soruya cevap verir
Görüşmenin çalıştığı alan dar ve nettir: insanların geçmişte ne yaşadığı, bir işi neden o sırayla yaptığı, kafasındaki modelin arayüzdeki modelle nerede çakıştığı. Bunlar dışarıdan gözlemle kolay çıkmaz, sormak gerekir. Buna karşılık “bu özelliği kullanır mıydınız”, “hangi renk daha güvenilir duruyor”, “bunu satın alır mıydınız” türü sorular görüşmeden geçerli cevap üretmez.
Nedeni katılımcının yalan söylemesi değil. Soru sorulmadan önce var olmayan bir tercih, sorulduğu anda doğar; insan boşluğu nazikçe doldurur, siz de ortaya çıkan cevabı bulgu sanırsınız. Literatürde buna sorgulama etkisi (query effect) deniyor ve en çok, cevabı gerçekten merak ettiğiniz sorularda vurur.
- Algı, gerekçe, zihinsel model, geçmiş deneyim: görüşme
- Davranış, tamamlama oranı, nerede düşüldüğü: kullanılabilirlik testi, gözlem, kullanım kayıtları
Yöntem seçimini sağlama almanın yolu sırayı tersine çevirmek. Önce cevabını istediğiniz soruyu bir cümleyle yazın, sonra bu soruya kimin cevap verebileceğine bakın. Soru “kaç kişi ikinci adımda bırakıyor” ise cevabı hiçbir katılımcı bilmiyor, log biliyor.
Plansız görüşme neyi kaçırır
Spontane görüşme kulağa esnek gelir, pratikte kapalı ve yönlendirici soruya düşer. Moderatör ne arayacağını netleştirmediği için konuşmayı doldurmaya çalışır, katılımcı da onaylamaya.
Planın işe yarayan kısmı soru listesi değil, soruların biçimi. “Bu ekranı nasıl kullanıyorsunuz” genel bir özet davet eder ve hep aynı cilalı cevabı alır. “En son bunu yaptığınızda ne oldu, baştan anlatın” ise katılımcıyı belirli bir olaya bağlar; kaçırılan adımlar, araya giren telefon, Excel'e kopyalanan liste orada çıkar. Bir de pilot görüşme yapın; akışın nerede tıkandığını ilk katılımcıda öğrenmek pahalı.
Günde kaç görüşme yapılacağı da plana dahil. Dördüncüden sonra sorular otomatiğe bağlanır ve takip sorusu sormayı bırakırsınız, ki görüşmenin değerli kısmı tam olarak takip sorularıdır.
Analizin gerçek maliyeti
Kaynak metinlerin çoğu şunu önerir: her görüşmeyi kaydet, transkript çıkar, ekibi topla, yarım günlük bir atölyede transkriptleri okuyup temaları belirle. İlk üçü doğru, dördüncüsü aritmetik olarak çalışmıyor.
Bir saatlik görüşme, iki kişinin konuşmasıyla kabaca yedi sekiz bin kelime transkript eder. Sekiz görüşme altmış bin kelime, yani orta boy bir kitap. Sessiz okuma hızını dakikada 250 kelime alırsanız bu metni sadece okumak kişi başı dört saat demek. Yarım günlük atölyede ya okursunuz ya tartışırsınız, ikisi birlikte sığmaz.
Çözüm atölyeyi uzatmak değil, okumayı atölyeden önceye taşımak. Transkriptler ekip üyelerine bölüşülür, herkes kendi payını işaretlenmiş alıntılarla gelecek şekilde okur, atölye yalnızca alıntıların gruplanmasına ayrılır. Ekibi analize dahil etmenin anlamı budur; aynı odada aynı metni ilk kez okumak değil.
Kayıt tarafında otomatik transkripsiyondan geçirip çıktıyı zaman koduyla okumayı tercih ederim. Makine isimleri ve terimleri yanlış yazar, elle düzeltmek gerekir, ama kimin ne zaman ne dediği kaybolmaz. Notla çalışırken kaybedilen şey tam olarak bu: not, moderatörün o anda önemli bulduğu şeyi saklar, iki hafta sonra aradığınız cümleyi saklamaz.
Paydaş itirazı araştırmadan önce çözülür
“Bunu zaten biliyorduk” ve “ben farklı düşünüyorum” itirazları bulgu sunumunda ortaya çıkar, ama orada doğmaz. Paydaş, hangi sorunun araştırılacağına karar verilirken odada olmadığı için sonucu kendi sorusunun cevabı olarak görmez.
Bunun pratik karşılığı kısa: araştırma sorularını birlikte yazın, listeyi önceliklendirin, kaç soruyu bu turda cevaplayacağınızı baştan söyleyin. Bir de rapor yerine canlı görüşme izletin. Bir saat izlemek yirmi sayfalık raporu okumaktan daha fazla ikna eder, çünkü itiraz edilecek bir yorum yoktur ortada, kullanıcının kendisi vardır.
Dördü de aynı hataya çıkıyor
Yanlış yöntem, plansızlık, yüzeysel analiz, paydaş direnci. Bunlar dört ayrı sorun gibi görünür, hepsi tek bir eksikten büyür: görüşmeye hangi soruyla girildiği yazılı değildir. Soru yazılıysa yöntemin uygun olup olmadığı kendiliğinden belli olur, akış o soruya göre kurulur, transkriptte ne aradığınızı bilirsiniz ve paydaşa sonucu değil, kendi onayladığı sorunun cevabını götürürsünüz. Görüşme defterinin ilk sayfasına yazılacak tek cümle budur.