Çoklu Kullanıcı Eşzamanlı Test (MUST) Ne Zaman İşe Yarar

Çoklu Kullanıcı Eşzamanlı Test (MUST), birden fazla katılımcıyı aynı oturumda, aynı anda test etmek demek. Yöntem çoğunlukla "daha az kaynakla daha çok veri" diye anlatılıyor. Bu tarif yanlış yere basıyor: MUST kaynak tasarrufu değil, takvim tasarrufu sağlar. Farkı bilmeden planlarsan oturum sabahı gözlemci bulamazsın.

Kazanç takvimde, adam saatinde değil

Sekiz katılımcıyı arka arkaya test edersen sekiz oturum yaparsın ve iş iki güne yayılır. Aynı sekiz kişiyi eşzamanlı test edersen bir sabahta biter. Kazanılan şey budur: takvim. Toplam gözlem yükü aynı kalır, çünkü sekiz kişiyi tek kişi izleyemez.

Kaynak planında kalem şuraya yazılır: eşzamanlı oturumda gözlemci başına iki, en fazla üç katılımcı düşmeli. Bir kolaylaştırıcıya sekiz kişi verirsen elde ettiğin şey kullanılabilirlik testi olmaz, denetimsiz bir görev tamamlama ölçümü olur. Bu da geçerli bir yöntemdir ama başka bir yöntemdir ve nedenleri değil yalnızca sonuçları verir.

Ne zaman tercih edilir

MUST'ın yerinde durduğu üç durum var:

• Katılımcı takvimi sıkışıksa. Hekim, uzman, saha personeli gibi ayırdığı zamanı tek seferde veren gruplarda o tek oturum tek şansındır.
• Görev uzunsa. Bir saati aşan, kurulum isteyen senaryolarda seri oturum planı günlere yayılır.
• Nicel bir çıktı gerekiyorsa. Tamamlanma oranı ve süre ölçmek için katılımcı sayısını yükseltmen gerekir, seri oturumla o sayıya çıkmak pahalıdır.

Beş kişilik keşif amaçlı bir testte MUST'a gerek yok. Klasik birebir oturum daha derin veri verir ve kurulumu bir öğleden sonra alır.

Yirmi katılımcı nicel olarak ne söyler

Nicel analiz için MUST önerilirken sayı genelde yirmi civarında telaffuz ediliyor. Bu sayının ne kadar kesinlik verdiğine bakmakta fayda var. Yirmi kişiden on altısı görevi tamamladıysa ölçtüğün oran yüzde 80'dir; bu ölçümün yüzde 95 güven aralığı kabaca yüzde 58 ile yüzde 92 arasına yayılır. Yani gerçek başarı oranı yüzde 60 da olabilir, yüzde 90 da.

Aralığı yarıya indirmek için katılımcı sayısını dörde katlaman gerekir, çünkü hata payı kabaca örneklem büyüklüğünün kareköküyle ters orantılı daralır. Yirmiden seksene çıkmak çoğu projede gerçekçi değil. Bu yüzden MUST çıktısını mutlak bir başarı oranı diye sunmak yerine, iki tasarım arasındaki farkı görmek için kullanmak daha sağlam duruyor.

Nicel bir iddia gerektiğinde bu işi genelde uzaktan ve denetimsiz test araçlarıyla çözerim; eşzamanlı laboratuvar oturumunu ise sayının yanında "neden" de lazımsa tercih ederim.

Kurulum: iki uç

Üst uçta her katılımcı için ayrı istasyonu, ses yalıtımı ve kayıt altyapısı olan laboratuvarlar var. Microsoft Games Studios'un kurulumu bu ölçeğin örneği.

Alt uçta kartondan bölmeler, boş toplantı odaları ya da ayrı ofislere dağıtılmış dizüstü bilgisayarlar yeterli. Kurulumun tek teknik şartı katılımcıların birbirini duymaması ve ekran kaydının çalışması. Kayıt tarafını hafife alma: sekiz makinede eşzamanlı ekran kaydı almak, kayıt diske yazılırken arayüzü yavaşlatabilir ve ölçtüğün süreyi bozar. Oturumdan önce tek makinede tam senaryoyu kayıtla birlikte bir kez koştur.

Katılımcı hazırlığı

Eşzamanlı oturumda hazırlık birebir testten iki noktada ayrılır. Birincisi, sesli düşünme talebini kaldır; yan bölmedeki katılımcı duyar, ikisi birbirini etkiler. İkincisi, görevleri bireysel dağıt ve kağıt yerine ekranda sırayla ver, yoksa hızlı ilerleyen katılımcı listeyi bitirip ortamı hareketlendirir.

Kolaylaştırıcıların deneyimli olması şart değil. Müdahale etmemeyi, sorulan soruyu soruyla karşılamayı ve gözlemi anında not almayı öğrenmek yarım günlük bir provaya sığıyor. Gerçek bir oturumu izlemeleri, teorik eğitimden daha çok işe yarıyor.