Moderatörlü ve Moderatörsüz Uzaktan Testin Gerçek Maliyeti
Moderatörlü mü moderatörsüz mü sorusu genellikle katılımcı teşviki üzerinden tartışılıyor. Dolaşan rakamlara dikkatli bakınca farkın orada olmadığı görülüyor: nakit çıktısı birbirine yakın, ayrışma araştırmacının takviminde. Aşağıda o rakamları açıp hangi kalemin sessizce sıfır sayıldığına bakıyoruz.
Dolaşan rakamlar
ABD merkezli, beş katılımcılı bir uzaktan test için sık aktarılan aralıklar şöyle:
| Kalem | Moderatörlü | Moderatörsüz |
|---|---|---|
| Toplam maliyet | 415 - 1.680 $ | 250 - 1.250 $ |
| Katılımcı başı teşvik | 80 - 250 $ | 50 - 150 $ |
| Araştırmacı zamanı | 32 - 48 saat | 11 - 27 saat |
| Planlama ve kurulum | 16 - 24 saat | 4 - 12 saat |
| Analiz | 8 - 16 saat | 4 - 12 saat |
Alt sınırlar neden tutmuyor
Moderatörlü sütunun alt ucunu açalım. Beş katılımcı, kişi başı 80 dolar teşvik, eder 400 dolar. Toplamın alt sınırı 415 dolar. Geriye 32 saatlik araştırmacı emeği ve platform aboneliği için 15 dolar kalıyor.
Moderatörsüz tarafta hesap daha da net: 5 × 50 = 250, toplamın alt sınırı da 250. Kalan sıfır. Yani bu aralıklar emeği maliyet olarak saymıyor, araştırmacı zaten maaşlı olduğu için hesabın dışında tutuluyor. Peki ya aynı işi bir ajanstan satın alsaydınız? Tablonun her iki sütunu da yerinden oynardı.
Asıl fark saatlerde
İki yöntemin araştırmacı zamanı arasındaki fark her iki uçta da yirmi bir saat: 32 eksi 11, 48 eksi 27. Nakit farkı ise alt uçta 165, üst uçta 430 dolar. Yirmi bir saate saat başı otuz dolar gibi düşük bir değer biçseniz bile 630 dolar eder, yani en geniş nakit farkını aşar.
Bu da kararın niteliğini değiştiriyor. Sorulacak soru hangisi ucuz değil, o yirmi bir saati kimin takviminden çıkaracaksınız. Tek araştırmacıyla çalışan bir ekipte yirmi bir saat neredeyse üç iş günü demek ve o günler genelde başka bir projeden kesiliyor.
Moderatörsüzün gizli faturası
Ucuz görünen tarafın kendine ait giderleri var. Panelden gelen katılımcılar test etmeye alışkın olabiliyor; alışkın katılımcı görevleri hızlı bitirir, takılmaz ve tam da takılmadığı için işinize yaramaz. Yaygın çözüm hedeflediğiniz sayının bir fazlasını davet etmek, yani teşvik bütçesini baştan yüzde yirmi şişirmek.
İkinci kalem oturum süresi. Çoğu platformda seans on beş ile yirmi dakika arasında sıkışıyor. Peki ya test ettiğiniz şey üç ekrana yayılan bir kayıt akışıysa? Görevi bölersiniz, bölünce bağlam kaybolur, kullanıcının nerede vazgeçtiğini değil hangi adımı yavaş bitirdiğini öğrenirsiniz.
Üçüncüsü de en çok yanıltanı: oturumdan kazandığınız saat analizde geri gidiyor. Kimse yanında olmadığı için kayıtları baştan sona izlemek zorundasınız, üstelik kullanıcı sesli düşünmeyi unuttuğunda elinizde yalnızca fare hareketi kalıyor.
Hangisi ne zaman
Moderatörsüz test dar ve net bir hipotezi olan işlerde kazanıyor: tek görev, iki varyant arasında karşılaştırma, on beş üzeri katılımcıyla bir eğilim ölçme. Sorunun ne olduğunu biliyorsunuz, kaç kişide göründüğünü merak ediyorsunuz.
Moderatörlü test ise sorunun ne olduğunu henüz bilmediğiniz aşamada işe yarar. Çok adımlı akışlarda, ilk kez test edilen bir prototipte, kullanıcının neden vazgeçtiğini sormanız gereken her yerde.
Kararsız kaldığınızda moderatörlüyü seçin. Sebebi bütçe değil, hata düzeltme hızı: yanlış kurulmuş bir görev moderatörsüz testte sessizce ilerler ve bunu ancak bütün bütçe harcandıktan sonra, kayıtları izlerken fark edersiniz. Moderatörlü oturumda aynı hata ilk katılımcıda ortaya çıkar, ikinciye geçmeden düzeltirsiniz.