Anket Yanıtlarını Bozan Yanlılıklar ve Pratik Önlemler
Anket ucuz ve hızlıdır, bu yüzden çoğu araştırmanın ilk adımı olur. Sorun şu ki anketin ölçtüğü şey davranış değil, katılımcının davranışı hakkında söylemeye razı olduğu şeydir. Aradaki farkı kapatmanın yolu daha çok soru sormak değil, soruyu ne zaman, hangi ölçekle ve hangi sırayla sorduğuna karar vermektir.
Anketi neyle birlikte kullanacağını baştan belirle
Tutum verisiyle davranış verisi birbirinin yerine geçmez. "Arama özelliğini sık kullanıyorum" diyen kullanıcının log kaydında ayda iki arama görünüyorsa, yanlış olan cevap değil, sorunun tek başına sorulmuş olmasıdır. Davranışa dair her soruyu analitikle veya kısa bir gözlem oturumuyla eşleştir; eşleştiremeyeceğin soruyu ankete koyma.
Anketin asıl güçlü olduğu yer başka: memnuniyet, tercih, algılanan zorluk, niyet. Bunları başka yöntemle ucuza ölçemezsin.
Hatırlamaya yaslanan sorular
İnsan geçmişteki sıradan bir etkileşimi doğru hatırlamaz. Yoğun duygu taşıyan ya da yeni yaşanan olaylar hafızada öne çıkar, gerisi silinir. Sonuç, hem hatırlama hem yakın zaman yanlılığının aynı veriye birlikte binmesidir.
Pratikte iki şey işe yarıyor. Anketi deneyimin hemen ardından tetikle, birkaç hafta sonra değil. Ve sıklık sorusunu sayı olarak sorma: "Son üç ayda kaç kez sipariş verdiniz" sorusunun cevabı tahmindir. "En son ne zaman sipariş verdiniz" sorusunun cevabı hatırlanabilir bir olaydır, sıklığı sen hesaplarsın.
Katılımcıyı iyi görünmeye iten sorular
Gelir, eğitim, spor alışkanlığı, çevre duyarlılığı, düzenli yedek alma. Bu başlıklarda cevaplar sistematik olarak yukarı kayar, çünkü kimse kendini kötü göstermek istemez. Rastgele bir gürültü değil bu; hep aynı yöne kayar, dolayısıyla örneklemi büyütmek düzeltmez.
Yapılacaklar kısa: sayı yerine aralık sun, anketin anonim olduğunu ekranda söyle ve bunu gerçekten uygula, hassas veriyi elde edebiliyorsan sistemden al. Kullanıcının hangi paketi kullandığını sormak yerine veritabanından okumak hem doğru hem de bir soruluk yer açar.
Ölçeğin kendisi yarattığı yanlılık
Katılımcılar hem onaylamaya hem ortada kalmaya eğilimlidir. Bu iki eğilim için verilen standart tavsiyeler birbiriyle çelişir: onama yanlılığına karşı ölçeği değiştir denir, merkezcilik yanlılığına karşı orta şıkkı kaldır denir, sonra da "orta seçenekleri analizde birleştirirsin" diye eklenir. Kaldırdığın seçeneği birleştiremezsin.
Orta şıkkı kaldırmak kararsızlığı ortadan kaldırmaz, kararsız katılımcıyı rastgele bir tarafa iter. Gerçekten fikri olmayan insanların cevapları veriye taraf tutmuş gibi girer ve bunu sonradan ayıklayamazsın. Tercihim, ölçeği tek sayılı bırakıp "fikrim yok" seçeneğini ölçeğin dışına, ayrı bir kutucuk olarak koymak: ortada kalanla fikri olmayan böylece iki ayrı sütunda durur, ikisini de sayarsın.
Onama eğilimine karşı asıl çare ölçek değil ifade. "Arayüz kullanışlıdır" cümlesine katılmak kolaydır; "Aradığınız ayarı bulmak ne kadar sürdü" sorusuna onaylayarak cevap veremezsin.
Sıra etkisi ve rastgele yanıtlar
Şık sırası ölçümü kaydırır; baştaki ve sondaki seçenekler ortadakilerden fazla işaretlenir. Randomize etmek çözüm, ama yarım çözüm. Şık sırasını rastgeleleştirirken hangi katılımcının hangi sırayı gördüğünü kayda geçirmeyi tercih ederim; kayıt yoksa sıranın etkisini sonradan ölçemez, sadece dağıttığını varsayarsın. Çoğu anket aracında bu bir alan meselesidir, ekstra bir maliyeti yok.
Rastgele yanıt veren katılımcıyı yakalamak için ters kodlanmış sorular önerilir. İşe yarar, fakat ölçülü kullan: ters ifadeler dikkatli katılımcıyı da yanıltır, özellikle iki olumsuzun üst üste bindiği cümlelerde. Yirmi soruluk bir ankette bir ya da iki tanesi yeter. Bir de anketi kısa tut; sıkılmış katılımcının verisi zaten kurtarılamaz.
Anketi göndermeden önceki tek soru
Her sorunun karşılığında şunu yaz: bu sorunun cevabı hangi kararı değiştirecek. Cevabın ikisinde de aynı şeyi yapacaksan soru veri değil, sadece uzunluk üretiyor demektir. Anket tasarımında en çok yer açan adım bu, ve yanlılıkların çoğu zaten sorulmaması gereken sorularda yaşıyor.