Think Aloud Testi: Oturumu Kurmak ve Ölçüm Sınırları
Think aloud testi, katılımcının bir görevi yaparken aklından geçeni sesli söylemesine dayanır; böylece davranışın yanına gerekçesi de gelir. Ekipman istemediği için ucuz sayılır, oysa pahalı olan kısım moderatörün susmayı öğrenmesidir. Doğru kurulmuş bir oturum tasarımın hangi noktada yanlış anlaşıldığını ilk katılımcıda gösterir, yanlış kurulmuş bir oturum ise moderatörün duymak istediği cevapları kaydeder.
Oturumu kurmak
Üç parça var: temsili bir katılımcı, gerçekçi bir görev, konuşmayı sürdüren bir moderatör. En çok hata görev cümlesinde yapılır. Görev sonucu değil amacı söylemeli: "Ayarlar sayfasına git, bildirim tercihlerini kapat" demek yerine "gece gelen bildirimleri almak istemiyorsun, bunu ayarla" demek gerekir. İlkinde yolu siz gösterdiğiniz için arayüzün keşfedilebilirliğini değil, talimat takip etmeyi ölçmüş olursunuz.
Katılımcı sustuğunda tek bir hatırlatma yeterli: "Şu anda ne düşünüyorsun?" Bunun dışına çıkan her cümle veriyi bozar. "Orada bir arama kutusu var" demek oturumu fiilen bitirir; o andan sonra katılımcı arayüzü değil sizi okumaya başlar, sizin beklentinizi tahmin edip ona göre hareket eder.
Eşzamanlı mı, geriye dönük mü
Klasik biçim eşzamanlıdır, katılımcı görevi yaparken konuşur. Konuşmak çalışma belleğinden pay aldığı için katılımcı normalden yavaş ilerler. Daha ilginç yan etki şu: sesli anlatmak insanı kendi kendini denetlemeye zorlar, bu yüzden normalde yapacağı bazı hataları hiç yapmaz.
Geriye dönük biçimde katılımcı sessizce çalışır, sonra ekran kaydını izleyerek anlatır. Görev akışı bozulmaz, ama anlatı artık hatırlamaya dayanır ve insanlar hatırlamadıkları boşlukları makul görünen gerekçelerle doldurur. Oturum süresi de ikiye katlanır.
Seçim şuna bağlı: tereddüdün arayüzde tam olarak nerede doğduğunu öğrenmek istiyorsanız eşzamanlı, akışın gerçek hızını ve tamamlanma davranışını bozmadan görmek istiyorsanız geriye dönük. İkisini aynı oturumda birleştirmek işe yaramaz, çünkü eşzamanlı konuşma sonradan izleyeceğiniz kaydı zaten kirletmiş olur.
Aynı oturumda ölçemeyeceğiniz şeyler
Sesli düşünme görev süresini uzatır, hata sayısını ise düşürür. Bu oturumlarda görev süresi ölçmem; çıkan sayı arayüzün değil konuşmanın maliyetidir ve iki sürüm arasında karşılaştırıldığında yanlış yöne işaret eder. Tıklama sayısı da aynı sebeple güvenilmez, katılımcı anlattığı için yavaş ve fazladan geziniyordur.
Nicel veri gerekiyorsa katılımcının hiç konuşmadığı ayrı bir tur kurmak, iki ölçümü tek kayıttan çıkarmaya çalışmaktan çok daha temiz sonuç verir. Süre ve tamamlanma oranı sessiz turdan, sebep açıklamaları sesli turdan gelir.
Ucuz olan donanım, pahalı olan emek
Yöntemin ucuz tarafı ekipman. Bir ekran kaydı ve defter yeterli, laboratuvara ihtiyaç yok. Bunun "kolay" diye okunması yaygın bir yanlış, çünkü maliyet insan tarafında duruyor: katılımcı bulmak, görevleri yazmak, oturum boyunca yardım etmemek, sonra kayıtları dinleyip söylenenle yapılan arasındaki farkı ayıklamak. Dört beş oturumluk bir turda analiz, testin kendisinden uzun sürer.
Bu yüzden küçük turlarla ilerlemek daha verimli: az katılımcıyla test et, bulguyu uygula, tekrar test et. On kişiyi sıraya dizip hepsini izledikten sonra düzeltmeye başlamak, aynı tıkanmayı on kez kaydetmek anlamına gelir. İlk üç katılımcıda tekrarlayan bir tıkanma çıktıysa dördüncünün getireceği yeni bilgi azdır, o noktada tasarıma dönmek gerekir.
Yöntemin bittiği yer
Sesli düşünme "neden" sorusunu cevaplar, "ne kadar" sorusunu cevaplamaz. Hangi tasarımın daha hızlı olduğunu, kaç kullanıcının adımı tamamladığını, bir değişikliğin dönüşüme etkisini buradan çıkaramazsınız. Tersi de geçerli: analitik hangi ekranda düşüş olduğunu gösterir, sebebini göstermez. Doğal düzen ikisini sırayla kullanmak, analitikte anomaliyi bul, o ekran için sesli düşünme oturumu kur. Sıra tersine döndüğünde, yani rastgele seçilmiş bir akışta test yapıldığında, harcanan emeğin karşılığı genelde alınmaz.