Kullanılabilirlik Testleri: Hangi Yöntem Neyi Ölçer

Kullanılabilirlik testi tek bir yöntem değil, birbirinden epey farklı sorulara bakan bir yöntem ailesi. Yöntemleri "hepsi kullanıcıdan veri toplar" diye aynı torbaya koyduğunuzda, yanlış soruya doğru cevap alıp yanlış kararı verirsiniz. Aşağıda üç yaygın yöntemin gerçekten neyi ölçtüğüne, bir de sık tekrarlanan "beş kullanıcı yeter" kuralının hangi varsayıma dayandığına bakıyorum.

Yöntemi konuya göre değil, soruya göre seçmek

Testleri planlarken sorulan ilk soru genelde "hangi yöntemi kullanalım" oluyor. Daha verimli olan sıralama tersi: elinizde hangi karar var, onu belirleyin. Menü başlıkları mı tartışmalı, ekrandaki adım sırası mı, yoksa insanların bir işi bitirip bitiremediği mi.

Bunlar üç ayrı soru ve üçünü aynı oturumda ölçmeye kalkarsanız hiçbirini temiz ölçemezsiniz. Katılımcı menü başlığına takıldıysa, akışın geri kalanı hakkında söyledikleri artık o takılmanın gölgesinde.

Kâğıt prototip yapıyı gösterir, akışı değil

Kâğıt prototip ucuz, hızlı ve erken aşamada gerçekten işe yarıyor. Ekrandaki öğelerin ne anlama geldiği, hangisinin tıklanabilir sanıldığı, sayfadaki hiyerarşinin okunup okunmadığı bu yöntemle çok erken ortaya çıkar.

Yöntemin sessiz sınırı da tam burada. Kâğıt prototipte bilgisayarın rolünü bir insan oynuyor ve o insan sonsuz sabırlı. Sayfa değiştirme süresi yok, kaydırma davranışı yok, bir isteğin dönmesini bekleme hissi yok. Yani zamanla ilgili her şey testin dışında kalıyor: algılanan hız, bekleme sırasında kullanıcının ne yapacağı, uzun listelerde kaydırarak arama davranışı. Kâğıt prototipten "akış akıcı" sonucu çıkarmak, bu yüzden yöntemin veremeyeceği bir şeyi ondan istemek oluyor.

Pratik bir ayrıntı: çıktıları masada maskeleme bandıyla çerçevelenmiş bir alanda tutun. Katılımcı kâğıtları alanın dışına taşımaya başladığında hem kamera açısı hem de not tutma bozuluyor.

Kart sıralamanın çıktısı menü değil, hipotez

Kart sıralama, insanların kavramları nasıl gruplandırdığını gösteriyor. Yaygın hata, çıkan grupları doğrudan menüye çevirmek. Katılımcıların kartları gruplaması, o grupların site içinde bir şey ararken de aynı şekilde işleyeceği anlamına gelmiyor. Gruplama serbest bir sınıflandırma işi, arama ise hedefli bir iş, ikisi farklı zihinsel görevler.

Sıralamanın sonucunu bir öneri olarak alıp ardından ağaç testiyle sınamak daha sağlam sonuç veriyor: yeni yapıyı yazı olarak kurun, katılımcıya "şunu nerede ararsın" diye sorun, doğru dala gitme oranına bakın. Bu ikinci adım olmadan kart sıralama, bir grup insanın kelime tercihini site mimarisi diye kabul etmek demek.

Bir de menüyü değiştirmenin bedeli var ve bu bedel tasarım dosyasında görünmüyor. Kategori adı değişince adres yapısı da değişiyor, eski adreslerin kalıcı yönlendirmeyle karşılanması, iç bağlantıların taranıp güncellenmesi, site haritasının yeniden üretilmesi gerekiyor. Küçük bir sitede yarım gün, birkaç bin sayfalık bir arşivde hiç de öyle değil. Kart sıralamayı önerirken bu işi de takvime yazmak gerekiyor, yoksa bulgu raporda kalıyor.

"Beş kullanıcı yeter" nereden geliyor

Alanda en çok tekrarlanan sayı bu ve arkasında bir hesap var. Her katılımcının, var olan herhangi bir sorunu bulma olasılığı p kabul ediliyor ve yaygın olarak kullanılan değer 0,31. n kişiyle bulunan sorun oranı 1 eksi (1 eksi p) üzeri n oluyor. p 0,31 ve n 5 için sonuç yaklaşık 0,84, yani beş kişiyle sorunların yüzde 84'ü. Rakam doğru.

Doğru olmayan, bu formülün her çalışmaya uyduğu varsayımı. Formül iki şeyi kabul ediyor: her katılımcının sorunu bulma olasılığı aynı ve katılımcılar birbirinden bağımsız. Kullanıcı tabanınız tek bir tipten oluşuyorsa bu makul. İki farklı kullanıcı grubu varsa, mesela ilk kez giren biri ile sistemi her gün kullanan biri, bu iki grubun karşılaştığı sorunlar da farklı ve p ortak değil.

O durumda beş kişi bir çalışmanın toplam sayısı değil, her grup için ayrı ayrı gereken sayı oluyor. İki gruplu bir üründe beş kişiyle yaptığınız çalışma, gruplardan birini iki kişiyle temsil ediyor demektir ve o grubun sorunlarını bulma oranı yüzde 84 değil, yüzde 52 civarında.

Bulgu ile dönüşüm arasındaki boşluk

Kullanılabilirlik testinin dönüşüm oranını yükselttiği çok tekrarlanıyor. Ben testin çıktısını doğrudan dönüşüme bağlamam, çünkü ölçtüğü şey o değil. Moderatörlü bir oturum size sorunun ne olduğunu, insanların nerede takıldığını ve neden takıldığını söylüyor. Kaç kişinin orada takıldığını ve düzeltmenin ne kazandıracağını söylemiyor.

Bu iki soru farklı araçlarla cevaplanıyor. Kaç kişi sorusu davranış verisinde: hangi adımda düşüş var, hangi formda alan terk ediliyor. Ne kazandırdığı sorusu ise ancak değişiklik yayına çıktıktan sonra, öncesiyle sonrasını karşılaştırarak ölçülüyor. Test bulgularını doğrudan gelir tahminine çeviren raporlar, aradaki bu iki adımı atlıyor.

İkisini birlikte kullanmanın en verimli sırası şu: davranış verisi nerede sorun olduğunu gösteriyor, moderatörlü test o noktada neden olduğunu açıklıyor. Tersten gitmek, yani önce test yapıp sonra veride karşılığını aramak da mümkün ama daha yavaş. Analitik nereye bakacağınızı ücretsiz söylüyorken, o bilgiyi kullanmadan oturum planlamak zaman kaybı.