Uzaktan Kullanılabilirlik Testinde Moderasyon Kararı
Uzaktan test, moderasyonlu ve moderasyonsuz diye ikiye ayrılıyor ve karar çoğu ekipte bütçeye göre veriliyor. Oysa ikisi aynı sorunun ucuz ve pahalı sürümü değil, farklı soruları cevaplayan iki ayrı yöntem. Yanlış eşleştirdiğinde ortaya veri değil, veriye benzeyen bir yığın çıkıyor.
İki yöntem, iki farklı çıktı
Moderasyonlu oturumda katılımcı takıldığında sorabilirsin. "Şu an ne arıyordunuz?" sorusu, tıklama kaydının asla vermeyeceği bir şey verir: kişinin zihnindeki model. Bu yüzden moderasyonlu test, henüz neyin yanlış olduğunu bilmediğin aşamalara, yeni bir akışa ya da anlaşılmayan bir kavrama uygun.
Moderasyonsuz test bunun tam tersini yapar. Kimse araya girmediği için katılımcı gerçekten tek başına kaldığında ne yapıyorsa onu görürsün, ve bunu aynı anda otuz kişiyle görebilirsin. Karşılığında "neden" kısmını kaybedersin. Elinde tamamlanan ve tamamlanamayan görevlerin listesi olur, sebeplerin listesi olmaz.
Buradan pratik bir sıralama çıkıyor: önce moderasyonlu birkaç oturumla neyin sorulacağını bul, sonra moderasyonsuz turla o sorunun ne kadar yaygın olduğunu ölç. Tersi sırayla çalıştığında ilk turda topladığın veriyi ikinci turda yeniden yorumlamak zorunda kalırsın.
Standardizasyon iki yönlü keser
Moderasyonsuz testin en çok övülen özelliği herkesin birebir aynı görevi almasıdır. Aynı kaynakların bir alt satırda "talimatın yanlış anlaşılması riski" diye uyarması tesadüf değil, çünkü ikisi aynı şeyin iki yüzü.
Moderasyonlu bir oturumda kötü yazılmış bir görev cümlesi tek seferlik bir kazadır, kolaylaştırıcı fark eder ve düzeltir. Moderasyonsuzda aynı cümle otuz kişiye aynı şekilde gider. Bir oturumu değil, turun tamamını kaybedersin, üstelik sonuçlar tutarlı göründüğü için bunu analiz sırasında fark etmen zorlaşır. Görev metnini yayına almadan önce iki kişiye yüksek sesle okutmak, bu riski neredeyse tamamen kapatan en ucuz önlem.
Sayılar sandığından daha oynak
Moderasyonsuz turların cazibesi rakam üretmesi: görev başarı oranı, süre, hata sayısı. Bu rakamların ne kadar sağlam olduğu katılımcı sayısına bağlı ve çoğu ekip bu bağı görmezden geliyor.
Sekiz kişiyle ölçtüğün bir başarı oranında tek bir katılımcı sonucu 12,5 puan oynatır. İki tasarım arasında bulduğun "on puanlık fark" bu örneklemde bir kişinin dikkatinden ibaret olabilir. Aynı sayı keşif amaçlı moderasyonlu bir turda gayet yeterlidir, çünkü orada oranı değil, tekrar eden sorunu ararsın. Yöntemi değiştirdiğinde gereken katılımcı sayısı da değişir; ikisini aynı bırakmak yaygın bir hata.
Görev başarısını genelde aracın kendi "tamamlandı" etiketine bırakmam, önce başarının ne olduğunu tek cümlelik bir bitiş koşuluna bağlar, kayıtları o koşula göre tek tek işaretlerim. Araçların çoğu son ekrana ulaşmayı başarı sayıyor, oysa kullanıcı oraya üç yanlış denemeden sonra varmış olabilir.
Kaybolan katılımcılar iki yöntemde farklı kaybolur
Moderasyonlu testte kayıp görünürdür: kişi randevuya gelmez, o saat boşa gider. Fazladan birkaç kişi davet etmek çözer.
Moderasyonsuzda kayıp gizlidir. Katılımcı görevleri açar, hızla tıklayıp geçer, teşviği alır. Kayıt vardır, içinde bilgi yoktur. Bu oturumları ayıklamak analiz süresinin gerçek bir bölümünü yer ve bütçe hesabına genelde hiç girmez. Panelden katılımcı satın alıyorsan, ayıklayacağın oturumların parasını da ödediğini baştan hesaba kat.
Hangisini seçmeli
Yeni bir akış tasarlıyorsan ya da elindeki sorunun ne olduğunu tarif edemiyorsan moderasyonlu başla. Sorunu biliyor, kaç kişide görüldüğünü merak ediyorsan ya da iki alternatif arasında karar veriyorsan moderasyonsuza geç. Erişilebilirlik tarafında, özellikle ekran okuyucu kullanan katılımcılarla çalışırken moderasyonlu tarafta kalmayı tercih ederim; orada aracın kaydettiği ekran videosu olan bitenin yarısını bile göstermiyor.
İkisini aynı turda birleştirmeye çalışmak ise iyi fikir gibi görünüp nadiren işe yarıyor. Katılımcıyı gözlerken standart koşulu bozarsın, standart koşulu korumak için susarsan gözlemin değerini kaybedersin.