Küçük Örneklemli Kullanıcı Testi Neyi Kanıtlar, Neyi Kanıtlamaz

Küçük katılımcı gruplarıyla yapılan bir testin sonucunu sunduğunuzda itiraz hep aynı yerden gelir: bu sadece bir kişi. İtiraz yöntem eleştirisi gibi görünür, oysa yanlış bir soruyu düzeltmeye çalışır. Nitel test bir sorunun ne kadar yaygın olduğunu ölçmez, var olduğunu gösterir. Savunma da tam buradan kurulur.

İtiraz yöntemi değil, çıkarımı hedefliyor

Beş kişilik bir oturumda üç katılımcı aynı butonu bulamadıysa bu, kullanıcıların yüzde altmışı butonu bulamıyor demek değildir. Doğru cümle şu: arayüzde insanların takıldığı bir nokta var ve bunu görmek için beş kişi yetti. Paydaş yüzde altmış rakamına itiraz ederken haklıdır. Siz zaten o iddiayı kurmamalısınız.

Nitel testin işi keşif. Bir sorunun varlığını tek bir gözlem kanıtlar, yaygınlığını ise yalnızca sayım kanıtlar. Bu iki iddiayı birbirine karıştırdığınız anda tartışmayı kaybedersiniz, çünkü karşı taraf artık savunulabilir bir yerden itiraz ediyordur.

Beş kullanıcı efsanesinin dayandığı sayı

Beş kullanıcı sorunların yüzde seksen beşini bulur cümlesi ortalıkta kaynaksız dolaşıyor, ama arkasında basit bir formül var: n katılımcıyla yakalanan sorun oranı 1-(1-L)^n. Buradaki L, tek bir katılımcının ortalamada bir sorunu yakalama olasılığı. L=0,31 alırsanız beş kişi için 1-0,69^5 = 0,84 çıkar, yani o meşhur yüzde seksen beş.

Asıl mesele L'nin sabit olmaması. Arayüz karmaşıksa, kullanıcı profilleri birbirinden uzaksa ya da sorun yalnızca belirli bir yolu izleyen kişide ortaya çıkıyorsa L düşer. L=0,10 olduğunda aynı hesap 1-0,9^5 = 0,41 verir; beş kişilik test sorunların ancak yüzde kırk birini gösterir. Aynı katılımcı sayısı, aynı yöntem, yarı yarıya farklı kapsama.

Bu yüzden beş kişi yeter cümlesini savunmanın merkezine koymayın. O sayı yöntemin değil, bir varsayımın sonucudur, ve varsayımı paydaş da sorgulayabilir.

Küçük örneklemin kanıtlayamadığı şey

Gerçek sınır ters yönde duruyor. Beş katılımcının hiçbiri bir noktada takılmadıysa oradan sorun yok sonucu çıkmaz. İstatistikte üç kuralı diye geçen yaklaşıma göre n denemede sıfır gözlem varsa gerçek oranın yüzde doksan beş üst sınırı kabaca 3/n olur. Beş kişide bu yüzde altmış eder: kimse takılmamış olsa bile kullanıcıların yüzde altmışına varan bir kesiminin takılıyor olması bu veriyle çelişmez.

Rapora bu akışta sorun bulunmadı yazmak, olmayan bir kanıtı kanıt yerine koymaktır. Doğrusu, beş katılımcıda bu akışta soruna rastlanmadı. İkincisi savunulabilir, birincisi ilk ciddi itirazda çöker.

Tek katılımcıdan gelen bulgu

Tek kişide görülen bulgu çöp değil, henüz önceliklendirilmemiş veridir. Üç şeye bakın:

• Düzeltmenin maliyeti. Yarım saatlik bir işse tartışmaya değmez, yapıp geçin.
• Sorunun şiddeti. Görevi tamamen durduran bir hata tek kişide görülse bile beklemez; şiddet yaygınlıktan önce gelir.
• Bağımsız izi. Destek kayıtları, hata logları, site içi arama sorguları ve huni verisi, bulgunun gerçekten tek başına kalıp kalmadığını birkaç saatte söyler.

Bir projede tek katılımcı ödeme adımındaki bir alanı yanlış doldurmuştu; sunucu loglarına bakınca aynı doğrulama hatasının günde yüzlerce kez döndüğünü gördüm. Oturumdaki tek kişi, kayıtlardaki kalabalığın görünen yüzüydü.

Şüpheyi testten önce karşılayın

Bulgular sunulduktan sonra başlayan metodoloji tartışması geç kalmış bir tartışmadır. Testten önce yazılı olarak üç şeyi netleştirin: katılımcıların hangi ölçütle seçildiği, testin hangi soruya cevap aradığı, hangi sonucun ne anlama geleceği. Bu üçü baştan kabul edilmişse sonradan gelen itirazın tutunacak yeri kalmaz.

Katılımcı profilini önceden onaylatmak, bunlar bizim kullanıcımız değil itirazını da kapatır. Sistemde hâlihazırda aktif olan kullanıcılardan seçim yapabiliyorsanız onu tercih edin; yapamıyorsanız seçim ölçütünü ve kimin kapsam dışında kaldığını açıkça yazın.

Bir de kayıt gösterin. Kullanıcının sesini duyan ya da ekranını izleyen bir ekip üyesi, aynı bulguyu tabloda okuyan ekip üyesinden çok daha az itiraz eder. Oturumlara izleyici davet etmek, rapor yazmaktan daha hızlı ikna eder.

Sayıya gerçekten ihtiyaç duyduğunuz an

Yaygınlık tartışmanın asıl konusuysa cevabı nitel oturumdan zorla çıkarmaya çalışmayın. Tek göreve odaklanmış, uzaktan yürütülen bir ölçüm çalışması bu soruyu günler içinde kapatır. Nitel test soruyu bulur, kantitatif çalışma büyüklüğünü ölçer; ikisini tek oturumdan çıkarmaya kalkarsanız her iki iddia da zayıf kalır.