Anketlerde Hassas Sorular: Yumuşatmanın Analizdeki Bedeli
Hassas soru anketin en kırılgan yeri: katılımcı ya formu yarıda bırakır ya da sosyal olarak kabul edilebilir cevabı verir. Birincisini tamamlama oranında görürsün, ikincisini hiç göremezsin. Soruyu yumuşatmanın tekniklerini bilmek de tek başına yetmiyor, çünkü her yumuşatma analizde bir şeyi geri alıyor.
Hassaslık sorunun kendisinde değil
Gelir sorusu bir bankacılık uygulamasının kredi akışında sıradan; aynı soru mobil oyun anketinde rahatsız edici. Peki aradaki fark ne? Katılımcının o bilgiyi vermenin karşılığını görüp görmemesi. Akışın mantığı soruyu gerektiriyorsa kimse itiraz etmiyor, gerektirmiyorsa en nötr dil bile kurtarmıyor.
O yüzden "hassas sorular listesi" çıkarıp hepsine aynı reçeteyi uygulamak işe yaramaz. Önce şunu sor: bu sorunun cevabı raporda hangi cümleyi yazdıracak? Yazdıracağı cümle yoksa soru da olmasın. Alışkanlıktan eklenen demografik blok tamamlama oranından sessizce kesiyor.
Tarayıcıda "sona koy" tavsiyesi çalışmaz
Yaygın tavsiye net: önce güven kuran kolay sorular, hassas olanlar sonda. Anket için doğru. Tarayıcıda (screener) ise ters döner, çünkü tarayıcının işi insanları çalışmaya almadan önce elemek. Uygunluk kriteri gelire, bir sağlık durumuna ya da ilaç kullanımına bağlıysa o soru ilk üç sorudan biri olmak zorundadır; sona koyarsan uygun olmayan katılımcıya on soru boyunca boşuna vakit harcatırsın.
Tarayıcıda çözüm sıralamada değil, çözünürlükte. Filtren "aylık geliri 40.000 TL üzerinde olanlar" ise gelir aralığı tablosuna ihtiyacın yok, tek bir eşik sorusu yeter. Hassas bilgiyi erken sormak zorundaysan istediğin hassasiyeti filtrenin ihtiyacı kadar tut ve nedenini soruyla aynı ekranda yaz.
Aralık sormanın görünmeyen bedeli
Kesin değer yerine aralık sunmak yanıt oranını gerçekten yükseltir. Karşılığında ne kaybediyorsun? Sonradan yeniden gruplama imkânını. 20.001-40.000 bandını tek kutuda topladıysan, altı ay sonra "30.000 üstü" kesitine bakmak istediğinde elinde veri yok. Ortalamayı da hesaplayamazsın; band orta noktalarından yapılan tahmin, dağılım çarpık olduğunda yanlış yere düşer.
Bandları yuvarlak sayılara göre değil, beklediğin ayrışmaya göre kur. Katılımcıların yüzde yetmişi aynı bandın içine düşüyorsa o soru hiçbir şey ölçmemiş, sadece anketi uzatmıştır. İki bandla iş görecekse iki band koy.
Frekans kalıbı neden daha çok cevap alıyor
"Sigara içiyor musunuz?" bir itiraf ister. "Son bir ayda kaç gün sigara içtiniz?" davranışı baştan olağan sayar ve katılımcıya itiraf etmeden derece bildirme imkânı verir. Yanıt oranı bu yüzden yükseliyor.
Aynı kalıbın ters tarafı da var: davranışı varsaydığı için hiç yapmayanı bile bir sayı söylemeye itebilir. Yaygınlık ölçüyorsan (kaç kişi yapıyor) frekans kalıbı veriyi şişirir, derece ölçüyorsan (yapanlar ne sıklıkla) doğru araçtır. Yaygınlık peşindeysen "0 gün" seçeneğini açıkça koy ve oranı oradan oku.
Seçenek listesi eksikse soru yanlış cevap üretir
Cinsiyet sorusunda yalnızca iki seçenek sunmak, kapsayıcılık tartışmasından önce bir veri hatasıdır: listede kendini bulamayan katılımcı ya en yakın gördüğünü işaretler ya da çıkar. İkisinde de kayıt bozulur. "Kendi tanımım" alanıyla "yanıtlamak istemiyorum" seçeneğini eklemenin maliyeti iki satır.
Aynı mantık yaşta ve gelirde de geçerli. Açık uçlu bir üst band ("66 ve üzeri", "40.001 TL ve üzeri") bırakmazsan en uçtaki grup ya aşağı doğru yalan söyler ya soruyu atlar.
"Yanıtlamak istemiyorum" boş bir hücre değil
Bu seçeneği koymak doğru. Koymazsan insanlar ya rastgele bir şey işaretler ya formu kapatır. Fakat reddi eksik veriyle aynı kefeye atmak analizi bozar. Reddi veritabanında boş değer olarak yazmam: "sormadım", "soruyu görüp geçti" ve "cevaplamayı reddetti" üç ayrı durumdur, üçünün raporda anlamı da farklıdır.
Red oranı ayrıca kendi başına bulgudur. Peki gelir sorusunu atlayanlar, cevaplayanlarla aynı dağılımda mı? Bunu varsaymak için elinde bir sebep yok; değilse hesapladığın şey gelir ortalaması değil, soruyu cevaplamayı kabul edenlerin ortalamasıdır. Gelir dağılımını raporlarken red oranını yanına yaz, yoksa tablo olduğundan daha emin görünür.