Kullanılabilirlik Testinde Söylenen ile Yapılanı Ayırmak

Bir kullanılabilirlik testinin çıktısı, katılımcının ne söylediğinden çok testi kuranın ne sorduğuna bağlıdır. Aynı arayüz, görev metni değiştiğinde hem kusursuz hem kullanılamaz görünebilir. Aşağıda gözlemin nerede güvenilir olduğunu, anketin hangi soruda hâlâ işe yaradığını ve testi kurarken hangi kararların önceden verilmesi gerektiğini ayırıyorum.

Söylenen ile yapılan neden ayrışır

Ayrışmanın sebebi katılımcının dürüst olmaması değil. İnsan kendi davranışını gerçek zamanlı gözlemleyemez. Bir düğmeyi neden fark etmediğini bilmez, çünkü fark etmeme olayının kendisi hafızada bir iz bırakmaz. Aynı şekilde “bunu kullanır mıydım” sorusu bir hatırlama değil, bir tahmin sorusudur ve insanlar kendi gelecek davranışlarını tahmin etmekte kötüdür.

Bu yüzden testte toplanan iki veri türünü baştan ayırmak gerekir. Gözlem, olan biteni kaydeder: nereye tıkladı, kaç saniye durdu, hangi adımı atladı. Beyan, katılımcının o olaya dair yorumunu kaydeder. İkincisi birincisinin yerine geçemez, ama birincisini açıklayabilir.

Görev metni testin yarısıdır

Katılımcıya “Kaydet düğmesine tıklayın” demek, o düğmenin bulunabilirliği hakkında hiçbir şey ölçmez. Cevabı soruya koymuş olursunuz. Aynı testin işe yarar hali şudur: “Bu değişikliği yarın tekrar açabileceğinden emin ol.” Katılımcı burada kendi yolunu arar; Kaydet’i bulamayıp tarayıcı sekmesini açık bırakmayı denerse, bulduğunuz şey gerçek bir kusurdur.

Görev yazarken üç şeye dikkat edin. Arayüzde geçen kelimeleri görev metninde kullanmayın. Görevi bir sonuçla tarif edin, bir eylemle değil. Ve görevin başarılı sayılma koşulunu testten önce yazın; “iyi gitti” izlenimi seans bittikten sonra her zaman iyimser tarafa kayar.

Anketin doğru yeri

Anketleri tamamen bir kenara koymak yaygın ama yanlış bir refleks. Anket, hatırlama ve tahmin isteyen sorularda güvenilmezdir; şu an olan biteni soran sorularda güvenilirdir. “Bu siteye bugün ne yapmak için geldiniz” sorusunun cevabı, kullanıcının o an kafasındaki niyettir ve doğrudan kullanılabilir. “Şu iki tasarımdan hangisini tercih edersiniz” sorusunun cevabı ise bir tahmindir; kullanım verisiyle ilişkisi zayıftır.

Ayrım testten önce mi sonra mı sorulduğunda değil, sorunun neyi talep ettiğinde. Niyet sorulabilir, tercih tahmini sorulamaz. Test bittikten sonra sorulacak en verimli soru da bir memnuniyet puanı değil, gözlemde takıldığı yeri ona hatırlatıp “orada ne aradığını” sormaktır.

Neyi kaydedeceğine önceden karar ver

Seans sırasında not tutmaya çalışmak, hem gözlemi hem notu bozar. Kaydedilecek asgari set kısadır: ekran kaydı, görevin başlangıç ve bitiş zamanı, görevin tamamlanıp tamamlanmadığı, ve takılma anlarının zaman damgası. Bu dördü elinizdeyse analiz kayıt üzerinden yapılabilir (bu iş için göz izleme kurulumlarını çoğu projede fazlasıyla abartılı buluyorum).

Görev tamamlanma kriteri, tanımı gereği ikili olmalı. “Kısmen yaptı” diye bir kategori açtığınız anda beş seansın sonunda elinizde karşılaştırılamayan beş hikâye kalır.

Beş kullanıcı kaç kullanıcıdır

Küçük örneklemle test yapma önerisi doğru bir sezgiye dayanır: ilk birkaç katılımcı en belirgin sorunların çoğunu ortaya çıkarır. Ama bu önerinin altında sessiz bir varsayım vardır. Her katılımcının her soruna çarpma olasılığı kabaca eşit sayılır.

Bu varsayım tek tip bir kullanıcı kitlesinde tutar. Kitleniz ayrışıyorsa, örneğin ilk kez gelenler ile aynı ekranı her gün kullanan operatörler aynı üründeyse, beş kişi tek bir segmentin sorunlarını bulur ve diğerinin sorunlarını hiç görmez. O durumda beş kişilik tek bir turdan değil, segment başına ayrı küçük turlardan söz ediyoruz. Toplam sayı büyür, ama alternatifi yanlış bir güven duygusudur.