Kullanıcı Testinde Katılımcı Sayısı: 5 Nereden Geliyor, Nerede Yetmez

Nitel testte beş kişi, nicel testte otuz kişi. İki sayı sürekli yan yana anılıyor ama aynı türden bir gerekçeye dayanmıyor: biri bir keşif modelinden, diğeri güven aralığının genişliğinden çıkıyor. Aradaki farkı atlayan planlama ya boşuna katılımcı parası harcatır ya da ölçemeyeceğiniz bir oranı rapora yazdırır.

Önce soruyu seçin, sayı ondan sonra gelir

Sorunuz "burada ne bozuk?" ise nitel test yapın: az katılımcı, çok gözlem, hızlı tur. Sorunuz "ne kadar?" ya da "A mı B mi?" ise nicel test yapın ve örneklemi metriğe göre hesaplayın. Aynı oturumda ikisini birden yapmaya çalışmak en sık görülen israf; beş kişiden çıkan görev tamamlanma oranı hiçbir yere yazılmaz, otuz kişiyle yapılan moderatörlü gözlem ise bütçeyi yakar.

Beş sayısının arkasındaki formül

Beş kullanıcı önerisi bir gözlemden değil, bir modelden geliyor. Nielsen ve Landauer'in yaygın olarak alıntılanan hesabında bulunan sorun oranı 1-(1-p)^n ile ilerliyor. p, tek bir kullanıcının belirli bir sorunla karşılaşma olasılığı. Ortalama p değeri 0,31 alındığında beş kullanıcı için 1-0,69^5 = 0,84 çıkıyor, yani meşhur %85.

Formülün içindeki varsayım burada saklı: her sorunun bulunma olasılığı eşit kabul ediliyor. Gerçekte değil. Ödeme akışında yalnızca belirli bir kart tipinde tetiklenen bir hatanın p değeri 0,10 civarındaysa, beş kullanıcıyla bulunma ihtimali 1-0,9^5, yani %41. Cümleyi doğru kurmak gerekirse: beş kullanıcı, ortalama görünürlükteki sorunların yaklaşık %85'ini bulur. Nadir ama pahalı hatalar bu kapsamın dışında kalır ve onları test değil, hata kayıtları ve destek talepleri yakalar.

Pratik sonuç: beş kişiyi tek seferlik bir bütçe değil, tur başına maliyet olarak düşünün. Üç turluk üç ayrı beşli, tek seferlik on beş kişiden daha fazla sorun çıkarır çünkü aradaki düzeltmeler bir sonraki turda yeni katmanı görünür kılar. Farklı kullanıcı segmentleriniz varsa beş sayısı segment başınadır, toplamda değil.

Nicel tarafta sayıyı belirleyen şey aralığın genişliği

Nicel testte hedef ortalama değil, ortalamanın etrafındaki belirsizliktir. Yirmi katılımcının on altısı görevi tamamladıysa oran %80, ama %95 güven aralığı kabaca ±17 puan. Yani gerçek değer %63 ile %97 arasında bir yerde. Kırk katılımcıda aynı hesap ±12 puana iner. Aralığı yarıya indirmek için katılımcıyı dörde katlamanız gerekir, çünkü genişlik n'in kareköküyle küçülür.

Buradan iki pratik kural çıkar. Oransal metrikler (tamamlanma, hata yapan kullanıcı yüzdesi) pahalıdır; süre gibi sürekli metrikler aynı hassasiyete daha az katılımcıyla ulaşır, o yüzden ölçebiliyorsanız oranı değil süreyi kıyaslayın. İkincisi, küçük örneklemde ikili sonuçlar için düz Wald aralığı uçlarda yanıltır; Sauro ve Lewis'in önerdiği düzeltilmiş Wald hesabını kullanın, hazır hesaplayıcıları var.

"30 katılımcı" rakamı da bu yüzden bir kural değil, alışkanlık. İki tasarımı karşılaştıracaksanız gereken sayı, yakalamak istediğiniz farkın büyüklüğüne bağlı: 20 puanlık bir farkı görmek görece ucuz, 5 puanlık farkı istatistiksel olarak göstermek yüzlerce katılımcı ister. O farkı ölçmeye değip değmeyeceğine testten önce karar verin.

Ölçtüğünüzü sandığınız şeyin kodda karşılığı var mı

Uzaktan yapılan nicel testlerde sayıyı bozan asıl şey genellikle örneklem değil, tanım. "Görev tamamlanma oranı" cümlesi rapora yazılana kadar masumdur; sıra hesaplamaya gelince ortaya çıkar ki vazgeçen kullanıcıyla oturumu zaman aşımına uğrayan kullanıcı aynı olayı üretiyor, geri dönüp ikinci denemede başaran kullanıcı iki kez sayılıyor, süre ölçümü sekmenin arka planda beklediği dakikaları da içeriyor.

Bunu sonradan düzeltemezsiniz, ancak yeniden yorumlarsınız ve her yorum farklı bir sayı verir. Testten önce olay şemasını yazın: hangi olay görevin başlangıcı, hangisi başarılı bitiş, vazgeçme nasıl işaretleniyor, sayaç neyi duruyor. Bu iş yarım saat sürer ve otuz kişilik bir oturumun tamamını kurtarır.

Özetle sayı bir sonuç, girdi değil. Nitel tarafta beş kişi bir bulma olasılığı modelinin çıktısı, nicel tarafta katılımcı sayısı kabul ettiğiniz aralık genişliğinin faturası. İkisini de belirleyen şey, testten önce yanıtını istediğiniz sorunun ne kadar net kurulduğu.