Kullanıcı Testi Maliyeti: Para Nereye Gidiyor, Nerede Boşa Gidiyor

Kullanıcı testinin maliyeti sorulduğunda beklenen cevap katılımcı başına ödenen ücret oluyor. Oysa fatura genelde başka yerden çıkar: senaryoyu yazan, oturumu izleyen ve kayıttan işe yarar bir liste çıkaran kişinin saatlerinden. Katılımcı teşvikini yarıya indirmek toplamı pek değiştirmez, o kalem bütçenin küçük parçasıdır.

Bütçenin büyük kısmı analiz tarafında

Orta ölçekli bir sitede beş altı kişilik bir tur, senaryo hazırlığı ve raporlama dahil, birkaç tam iş günü tutar. Bu sürenin içinde oturumların kendisi belki üç saattir. Geri kalanı katılımcı bulmak, takvim ayarlamak ve izlediklerini geliştirici ekibin okuyabileceği bir listeye çevirmektir.

Ajansla çalışmak bu saatleri dışarı devrettiğin için pahalıdır. Kendi ekibinle yapmak ucuz değil, sadece maliyeti görünmezdir: içeride yapılan testin faturası, o hafta başka işe bakamayan tasarımcının zamanıdır.

“Beş kullanıcı yeter” nereye kadar doğru

En çok tekrarlanan kural bu: beş kişi sorunların yaklaşık %80’ini çıkarır. Rakamın arkasında bir formül var. Nielsen’in kullanılabilirlik eğrisi bunu 1-(1-p)^n olarak yazar; p tek bir kullanıcının belirli bir sorunu yakalama olasılığı, n katılımcı sayısı. p için 0,31 alırsan beş kullanıcıda %84 çıkar, kural da buradan gelir.

Asıl mesele p’nin sabit varsayılması. 0,31 düz ve tek bir akışta ölçülmüş bir ortalama. Dallanan bir ödeme adımında ya da rol bazlı bir panelde her kullanıcı arayüzün farklı bir kesitini görür, yakalama olasılığı düşer. p’yi 0,15 kabul et, aynı formül beş kullanıcı için %56 verir. Aynı beş kişi, aynı bütçe, yarı yarıya kapsam.

O yüzden beşi bir kapsam garantisi değil, tur büyüklüğü olarak görmek gerekir. On kişilik tek bir tur yerine beşer kişilik iki tur yapmayı tercih ederim: ilk turda bulduğunu düzeltirsin, ikinci tur düzeltmenin gerçekten işe yarayıp yaramadığını da ölçmüş olur.

Ucuz görünen yöntemin gizli maliyeti

Uzaktan moderasyonsuz testler listenin en ucuz satırı. Katılımcı görevi kendi başına tamamlar, sen kaydı sonradan izlersin. Ucuzluk oturum başına ücrette doğru, analizde değil. Yanında oturup “şu an ne düşünüyorsunuz” diye soramadığın için, kullanıcının neden üç kez geri dönüp aynı menüyü açtığını tahmin etmeye çalışırsın. Tahminle açıklanan her bulgu, doğrulanmak için ikinci bir teste çıkar.

Yöntem	Doğrudan maliyet	Analiz yükü	Cevapladığı soru
Uzaktan moderasyonsuz	Düşük	Yüksek	Ne oldu, kaç kişide oldu
Uzaktan moderatörlü	Orta	Orta	Neden oldu
Yüz yüze moderatörlü	Yüksek	Orta	Neden oldu, o sırada ne hissedildi

Moderasyonsuz yöntem görev tamamlama oranı gibi sayılabilir şeyler için doğru araç. Neden sorusunu soracaksan moderatörlü oturumun alternatifi yok; ön eleme dışında ucuza kaçmanın karşılığı sonradan ödenir.

Senaryo kötüyse sonuç da kötü

Bir test başarısız olduğunda ilk şüphelenilecek yer arayüz değil, senaryonun kendisidir. “Kayıt sayfasını inceleyin” diye bir görev yazarsan kullanıcı ne yapacağını bilemez, çıkan tıkanma senin yazdığın cümlenin tıkanmasıdır. Görev bir amaç taşımalı: ana sayfadan başlayıp en ucuz ürünü sepete eklemek gibi, başı ve sonu belli bir iş.

Tek senaryoya birden fazla karmaşık adım sıkıştırmak da aynı kapıya çıkar. Kullanıcı ikinci adımda takıldığında birincinin sağlam olup olmadığını artık bilemezsin. Katılımcıyı şirket içinden seçmek ise ölçümü baştan bozar. Kendi ürününün menü yapısını ezbere bilen biri, o menünün anlaşılır olup olmadığını test edemez.

Bulguları sıralarken yapılan hesap hatası

Sık rastlanan bir yanlış var: “beş kişiden üçü takıldı, yani %60” deyip o maddeyi listenin başına koymak, beş kişinin tamamının takıldığı maddeyi ikinci sıraya almak. Beşte beş, beşte üçten kötüdür. Oran büyüdükçe aciliyet artar, azalmaz.

Sıralamayı iki eksende yap: kaç kullanıcıyı etkiliyor, etkilediğinde işi tamamen durduruyor mu. Görevi durduran ve sık görülen madde her zaman ilk sıradadır. Kozmetik olanı listeden silmeye gerek yok, ama sprint’e de alma, bir sonraki tura kadar bekler.

Bir de sözle davranışı ayır. “Bu çok kolaymış” diyen kullanıcı aynı ekranda kırk saniye duraksadıysa, ölçtüğün şey duraksamadır. Nezaket veri değildir.