Kullanılabilirlik Testi: Kaç Kullanıcı, Hangi Görev, Ne Ölçülür

Kullanılabilirlik testi kurmanın zor kısmı oturumu yönetmek değil, oturumdan önce verilen kararlar. Kaç kişiyle çalışacağınız, katılımcıya ne yaptıracağınız ve neyi başarı sayacağınız testin ne bulacağını baştan belirliyor. Bu üç karar yanlış kurulduğunda oturumlar sorunsuz geçer, rapor dolar, üründe hiçbir şey değişmez.

Beş katılımcı sayısı nereden geliyor

Sektörde dolaşan "beş kullanıcı yeter" cümlesinin arkasında bir formül var. Bir kullanılabilirlik sorununun tek bir katılımcı tarafından fark edilme olasılığına L dersek, n katılımcıyla bulunacak sorun oranı 1-(1-L)^n olur. Nielsen'in ortalama olarak kullandığı L değeri 0,31 civarında. Yerine koyduğunuzda tablo şöyle çıkıyor:

Katılımcı	Bulunan sorunların oranı
1	%31
3	%67
5	%84
10	%97

Buradan iki sonuç çıkar. Birincisi, beşinci katılımcıdan sonra eğri yatıyor: katılımcı sayısını ikiye katlayıp on kişiye çıkmak, maliyeti iki katına çıkarıp bulguya on üç puan ekliyor. İkincisi ve daha sık atlanan: L düşükse formül dağılır. Nadiren tetiklenen, yalnızca belirli bir cihazda ya da belirli bir veri durumunda ortaya çıkan sorunlarda L 0,31 değil 0,05 olabilir; o durumda beş katılımcı sorunun ancak dörtte birini yakalar. Beş sayısı bir kural değil, ortalama bir varsayımın sonucu.

Pratik karşılığı şu: beş kişilik tek bir tur yerine, iki üç kişilik turları düzeltme yaparak tekrarlamak aynı bütçeyle daha çok sorun çıkarır. Ayrı kullanıcı grupları varsa (yeni kullanıcı ve uzman kullanıcı gibi) beş sayısı grup başına geçerlidir, toplamda değil.

Görev yazmak

Katılımcıya verilen cümle, testin en çok bozulan parçası. "Filtreleme menüsünden kırmızı ürünleri seçin" diye yazılmış bir görev, katılımcıya menüyü de gösterir, adımı da söyler. Geriye gözlemlenecek bir şey kalmaz.

Görev bir hedef tarif etmeli, yol değil. "Kışlık bir mont arıyorsunuz, bütçeniz iki bin lira. Beğendiğiniz bir tanesini sepete ekleyin." Burada katılımcının filtreyi kullanıp kullanmayacağı, kullanmazsa ne yapacağı testin bulgusudur. Arayüz elemanının adını görevin içine yazdığınız anda o elemanın keşfedilebilirliğini ölçme imkanını kaybedersiniz.

İkinci kural, görevin bitiş noktasının belirsiz kalmaması. Katılımcı görevi tamamladığını anlayamıyorsa siz de tamamlanma süresini ölçemezsiniz.

Metrik seçerken

Tamamlanma oranı, süre ve hata sayısı üç temel metrik. Sorun, bunların bağlamdan bağımsız okunmasında.

Terk oranını tek başına başarısızlık göstergesi olarak okumam. Arama sonuçları sayfasında kullanıcı aradığı cevabı sonuç listesindeki açıklama metninden alıp çıkabilir; hiçbir sonuca tıklamamıştır ama görevi tamamlamıştır. Literatürde bunun adı "good abandonment". Bu davranışın yaygın olduğu bir sayfada tıklama oranını hedef metrik yaparsanız, sayfayı daha az bilgi gösterecek şekilde bozarak metriği yükseltirsiniz.

Süre de aynı şekilde iki yönlü. Bir formda geçirilen sürenin kısalması iyi olabileceği gibi, kullanıcının alanları okumadan geçtiğinin de işareti olabilir. Süreyi tek başına değil, hata sayısıyla birlikte okumak gerekiyor.

Bulguyu düzeltmeye çevirmek

Oturumlar bittiğinde elinizde genelde on beş yirmi gözlem olur ve bunların hepsi aynı ağırlıkta değildir. Sıralamayı iki eksende yapmak işe yarıyor: kaç katılımcıda görüldü ve görevi tamamen bloke etti mi.

1. Birden çok katılımcıda görülen ve görevi bitiremeyen sorunlar önce gelir.
2. Tek katılımcıda görülen ama tamamen bloke eden sorunlar ikinci sırada; bunlar genelde uç durumlardır ve tekrar testte doğrulanması gerekir.
3. Yavaşlatan ama engellemeyen sorunlar en sona kalır.

Bu listeye üçüncü bir sütun eklemek raporu geliştiriyor: düzeltmenin uygulamada nereye dokunduğu. Etiket metnini değiştirmek ile arama sonuç sıralamasını değiştirmek aynı listede yan yana durur ama biri yarım saatlik, diğeri haftalık iştir. Geliştirme maliyetini yazmadan verilen öncelik sırası, ekipte ikinci kez ve bu sefer sizin dışınızda yeniden sıralanır.

Raporda her bulgunun yanında hangi katılımcının hangi dakikasında görüldüğü yazsın. Tartışma çıktığında kayda dönmek, tarif etmeye çalışmaktan hızlıdır.