Anket Sorularını Veriyi Bozmadan Yazmak
Anket verisi çoğu zaman katılımcı yüzünden değil, sorunun kuruluşu yüzünden bozulur. Dengesiz ölçek, iki kavramı birden soran cümle, zorunlu bırakılmış gereksiz alan; üçü de veriyi toplarken değil analiz ederken ortaya çıkar. Formu yayına almadan önce yakalamak, sonradan kurtarmaya çalışmaktan çok daha ucuz.
Önce listeyi kısalt
Soru eklemenin maliyeti tasarım aşamasında sıfır görünür, analizde ortaya çıkar. Kural basit: analiz planında karşılığı olmayan soruyu sorma. Demografik bilgiyi sisteminde zaten tutuyorsan tekrar sormanın tek sonucu, formun uzaması ve terk oranının artması.
Aynı mantık zorunluluk için de geçerli. Her soruyu zorunlu yaparsan boş yanıt almazsın, rastgele yanıt alırsın, ve ikisini sonradan ayırt edemezsin. Zorunlu bırakılacak soru sayısı genelde tek haneli kalır.
Geçmişi sor, tahmini değil
“Bu ürünü ne sıklıkta kullanmayı düşünüyorsunuz” sorusunun ölçtüğü şey niyettir, davranış değil. İkisi arasındaki fark sabit de değil, yani sonradan bir düzeltme katsayısı uygulayamazsın. Yerine geçen hafta kaç kez kullandığını sor. O cevap da hatalı olabilir, ama hatası hatırlama hatasıdır, temenni değil.
Bir soruda bir kavram
“Bu site ne kadar kolay ve sezgisel?” sorusuna verilen tek puanın hangi kelimeye ait olduğu belli değildir. Katılımcı ikisini aynı bulmuyorsa ortalarda bir yere basar ve veri sessizce bulanıklaşır. Böyle her cümleyi ikiye böl.
Aynı geçişte jargonu da temizle. Ekip içinde herkesin bildiği kısaltma, formu dolduranların bir kısmı için anlamsız; anlamadığı soruyu boş bırakmaz, yine de cevaplar.
Ölçeğin aritmetiği
Dengesiz ölçek en sık atlanan hata. Klasik örnek şu dörtlü: Çok iyi, İyi, Orta, Kötü. Olumlu tarafta iki seçenek var, olumsuz tarafta bir. Bunları 4’ten 1’e kodlayıp ortalama aldığında ölçeğin orta noktası 2,5 olur, ama “Orta” cevabı 2’ye denk gelir. Gerçekten nötr olan katılımcı tabloda olumsuz tarafa düşer. Olumlu ve olumsuz seçenek sayısını eşitle, nötr seçeneği tam ortaya yerleştir.
İkinci kontrol, aralıkların çakışmaması. Yaş için 20-30 ve 30-40 yazan formda 30 yaşındaki kişi iki kutuya birden uyar, hangisini seçtiği de kayda geçmez. 20-29 ve 30-39 yaz, arada boşluk da kalmasın.
Cevap vermeme hakkı
Uymayan seçenek listesi yanlış veri üretir, çünkü katılımcı formu kapatmak yerine en yakın gördüğü kutuyu işaretler. “Bilmiyorum”, “Diğer” ve “Cevaplamak istemiyorum” birbirinden farklı şeyler; tek satırda birleştirilirse sonradan ayrıştırılamaz. Cinsiyet, sağlık durumu, etnik köken gibi başlıklarda bu seçenekler formun doldurulup doldurulmayacağını doğrudan belirliyor.
Yayına almadan önce
Pilot uygulamayı, soru listesini dördüncü kez gözden geçirmekten daha faydalı buluyorum. Masa başında kusursuz görünen cümlenin yanlış anlaşıldığı ancak küçük bir denemede görünür oluyor, üstelik çoğu zaman ilk iki katılımcıda çıkıyor.
Formun başına verinin ne için toplandığını ve nerede saklanacağını yaz. İki cümle yeter, ama yanıt oranıyla birlikte açık uçlu cevapların uzunluğu da değişiyor. Son soruyu da serbest bırak: “Eklemek istediğiniz bir şey var mı?” kutusundan çıkan cümleler, çoktan seçmeli tarafta hiç sormadığın soruyu göstermeye yarıyor.