5 Kullanıcı Kuralı: Ne Zaman Yeterli, Ne Zaman Değil
Kullanılabilirlik testinde 5 kişinin sorunların %85'ini bulduğu söylenir. Bu bir ölçüm sonucu değil, tek bir varsayımla çözülmüş bir formülün çıktısı. Varsayım tutuyorsa 5 kişi fazlasıyla yeterli; tutmuyorsa aynı test sorunların yarısını bile göstermez. İyi tarafı, hangi durumda olduğunuzu kendi test notlarınızdan anlayabiliyorsunuz.
%85 nereden geliyor
Rakamın kaynağı Jakob Nielsen ve Thomas Landauer'in 1993'teki çalışması. Oradaki model basit: bir arayüzdeki sorunların n kullanıcıyla bulunan oranı 1-(1-λ)^n. Buradaki λ, tek bir kullanıcının belirli bir sorunla karşılaşma olasılığı. Nielsen bu değeri, ölçtüğü projelerin ortalaması olan 0,31 alıyor; 5 kullanıcı için 1-0,69⁵ ≈ 0,84 çıkıyor. Meşhur %85 bundan ibaret, bir ortalamanın beşinci kuvveti.
λ'nın 0,31 olduğu varsayımı kuralı popülerleştiren yazıda açıkça söyleniyor, ama alıntılanırken genelde düşüyor. Oysa sonucun tamamı o sayıya bağlı. 0,31 Nielsen'in kendi ölçtüğü projelerin ortalamasıdır, her ürün için geçerli bir sabit değil (çoğu projede bana fazla iyimser geliyor).
λ düştüğünde 5 kişi ne kadarını bulur
Aynı formülü başka değerlerle çalıştırmak yeter: λ=0,15 için 5 kullanıcı sorunların %56'sını, λ=0,10 için %41'ini bulur. Kötü koşulda 5 kişilik test yarıyı bile getirmiyor.
λ'yı düşüren şey katılımcı sayısı değil, test edilen alanın genişliği. Tek bir ödeme formunu test ediyorsanız herkes aynı dar yolda yürür ve aynı engellere çarpar, λ yükselir. Otuz ekranlık bir yönetim panelinde ise her kullanıcı kendi işine yarayan köşeyi gezer, birinin bulduğu sorunu ikincisinin bulma şansı azalır. Duruma bağlı sorunlar için de aynısı geçerli: yalnızca eski kayıtlarda, yalnızca yetkisi kısıtlı hesapta ya da listede 200'den fazla satır varken ortaya çıkan bir hata rastgele beş kişinin önüne pek çıkmaz.
Buradan çıkan sonuç katılımcı sayısını artırmak değil. 5 yerine 12 kişiyle aynı geniş paneli test etmek maliyeti ikiye katlar, kapsamı aynı oranda büyütmez. Doğru hamle kapsamı küçültmek: tek seferde bir akış, o akış için 5 kişi.
λ'yı tahmin etmek yerine ölçmek
Bunun için araca gerek yok. Testten sonra bulunan sorunları satırlara, katılımcıları kolonlara yazın; kim hangisine çarptıysa işaretleyin. Her katılımcının bulduğu sorun sayısını toplam sorun sayısına bölüp ortalamasını alın. λ'nın o test için kaba tahmini bu. Elinizdeki tabloya bakmak, literatürden ödünç alınmış bir sabite güvenmekten her zaman daha iyi.
İkinci tur, düzeltme yapılmadan işe yaramaz
“İlk 5 kişiyle %85'ini bulun, ikinci 5 kişiyle kalan %15'i tamamlayın” tavsiyesi aritmetik olarak yanlış. Tasarımı değiştirmediyseniz ikinci grup da aynı sorunların aynı oranını bulur; kalan %15'e özel olarak yönelen bir mekanizma yok. Formüle bakarsanız 10 kullanıcı oranı %97-98'e çıkarır, ama bu tek bir sürümde var olan sorunlar için geçerli.
Turların değeri, turlar arasında kodun değişmesinden geliyor. İlk turda bulunanları düzeltirsiniz, düzeltmeler yeni sorunlar üretir (üretir, bu istisna değil), ikinci tur onları yakalar. Yani iteratif test “sorunların yüzde kaçını buldum” sorusunu değil, “değişen tasarım hâlâ çalışıyor mu” sorusunu cevaplıyor. İki tur arasında hiçbir şey düzeltilmediyse ikinci turu iptal edip bütçeyi düzeltmeye harcamak daha mantıklı.
Segment başına 3 kişi aynı güveni vermez
Ürün birden fazla kullanıcı tipine hizmet ediyorsa “her segmentten 3-4 kişi” tavsiyesi sık duyulur. Formülü oraya da uygulayın: λ=0,31 ile 3 kullanıcı, o segmente özgü sorunların yalnızca %67'sini bulur. İki segment için 6 kişi harcamış, hiçbirinde 5 kişilik güvene ulaşmamış olursunuz.
O yüzden önce şunu sormak gerekiyor: segmentler gerçekten farklı mı davranıyor? Ebeveyn ile çocuk gibi arayüzü apaçık başka biçimde kullanan iki grupsa evet, ayrı ayrı test edin ve her birine 5 kişi ayırın. Ama çoğu zaman segment dediğimiz şey davranış değil pazarlama ayrımı: aynı ekranları aynı sırayla kullanan, yalnızca fatura tutarı farklı iki müşteri grubu. Böyle bir durumda ikisini tek testte karıştırmak, testi ikiye bölmekten iyi sonuç verir.
Sayı yerine kapsamı ayarlayın
5 kişi kuralının asıl yararı, insanları istatistiksel anlamlılık beklerken hiç test etmemekten kurtarması. Zararı, rakamın dayandığı varsayımın onunla birlikte taşınmaması. Dar bir akışı test ediyorsanız 5 kişi gerçekten yeterli ve altıncıyı aramak zaman kaybı. Geniş bir ürünü tek testle kapsamaya çalışıyorsanız sorun katılımcı sayısında değil, testin kurgusunda.