Dijital Anketlerde Yanıt Oranı: Kısalık Neyi Çözer, Neyi Çözmez

"Anketi kısaltın, yanıt oranı yükselir" tavsiyesi doğru olduğu kadar eksik. Soru sayısını üçe indirip yanıt oranının hâlâ düşük kaldığı çok form var, çünkü katılımı belirleyen şey sorunun sayısı değil, katılımcının o an ne yaptığı ve sorunun ona ne kadar ilgili geldiği. Kısaltmanın gerçekten işe yaradığı yer ile analiz gücünü sessizce yok ettiği yer birbirine yakın duruyor.

Kısalık neyin yerine geçer

Katılımcı formu açmadan önce bir maliyet tahmini yapar. Bu tahmini soru sayısı değil, gördüğü şey belirler: ekranda kaç alan var, kaydırma çubuğu ne kadar uzun, ilerleme göstergesi var mı. Üç soruluk bir anket tek ekranda bitiyorsa kısa sayılır; aynı üç soru üç ayrı adıma bölünmüşse katılımcı sonunun nerede olduğunu bilemez ve kısalık avantajı kaybolur.

İkinci belirleyici zamanlama. Ödeme akışının ortasında açılan iki soruluk bir form, işi biten kullanıcıya gösterilen beş soruluk formdan daha çok reddedilir. Kısaltmak, yanlış anda sorulmuş bir soruyu kurtarmaz.

Hangi sorunun ağır olduğunu ölçmeden bilemezsin

Anket tasarımı tartışmalarının çoğu tahmin üzerinden yürüyor: "şu soru uzun geliyor herhalde". Oysa bunun ölçümü basit. Yanıtları yalnızca gönderme anında değil, her soru yanıtlandığında kaydet; formu terk edenlerin nerede durduğunu görürsün. Böylece "anket uzun" cümlesi yerine "katılımcıların önemli bir kısmı dördüncü soruda bırakıyor" gibi üzerinde çalışılabilir bir bilgi elde edersin.

Kısmi kayıt, tamamlanmamış yanıtları da veriye dönüştürür. Üç soruya cevap verip bırakan biri, hiç katılmamış sayılmak zorunda değil. Bu yaklaşımın karşılığı olarak formda kişisel veri toplanıyorsa gizlilik metninin kısmi kaydı da kapsaması gerekir; sonradan eklenen bir açıklama olarak değil, baştan.

Anketi bölmek ücretsiz bir hamle değil

Yaygın tavsiye şu: altı soruyu tek forma koymak yerine ikişer soruluk üç ayrı anket yap, farklı ziyaretçilere göster, sonuçları birleştir. Kulağa zekice geliyor, ama birleştirme dediğimiz şey sınırlı.

Farklı kişiler farklı soruları yanıtladığında her sorunun kendi dağılımını öğrenirsin, soruların birbiriyle ilişkisini öğrenemezsin. "Arama sonuçlarını yetersiz bulanlar aynı zamanda mobilde mi geziyordu" sorusunun cevabı yoktur, çünkü iki soruya birlikte cevap veren tek bir kişi yok. Segment kırılımı, çapraz tablo, alt grup karşılaştırması: bunların hepsi aynı katılımcının aynı formda birden fazla soruya cevap vermesine dayanır.

Günlere yaymak da ayrı bir sorun getirir. Salı günü siteye gelenle cumartesi günü gelen çoğu üründe farklı kitledir; iki günün yanıtlarını tek havuz gibi toplayınca ölçtüğün şey soru değil, gün olur.

Buradan çıkan kural net: birlikte analiz edeceğin soruları aynı formda tut, birbirinden bağımsız konuları bölmekte serbestsin.

Tek soruya indirmenin sınırı

"Bizi tavsiye eder misiniz" gibi tek soruluk ölçüler yanıt oranı açısından en ucuz seçenek, ama sana bir sayı verir, bir neden vermez (bu skora yüklenen anlamı fazla buluyorum). Puan düştüğünde elinde neyi düzelteceğine dair hiçbir şey olmaz, o yüzden aynı ekrana zorunlu olmayan tek bir açık uçlu alan koymak işi değiştirir: "Bu puanı vermenizin sebebi nedir?" Boş bırakılabildiği için tamamlanma oranını düşürmez, dolduranlar ise sayının açıklamasını getirir.

Soruyu okunabilir yazmak

Kısaltma çabası bazen iki soruyu tek cümlede birleştirmeye kadar gider. "Sitemizi hızlı ve kullanışlı buldunuz mu?" sorusuna gelen "hayır" yanıtı işe yaramaz, çünkü hangisine hayır dendiği belli değildir. Bir cümlede tek yargı olsun; soruyu bölmek anketi uzatıyorsa, o iki konudan hangisini gerçekten merak ettiğine karar vermek gerekir.

Yönlendirici kalıplar da veriyi aynı biçimde bozar. "Yeni tasarımımızı ne kadar beğendiniz" sorusu beğeniyi varsayar ve katılımcıyı olumlu tarafa çeker. Nötr ifade, ölçekte iki ucu da eşit temsil etmek demek.

Yayına almadan önce anketi beş kişiye okutmak, tasarım toplantısında yapılan tartışmaların çoğunu gereksiz kılar. Anlamadıkları tek bir soru bile çıkarsa, o soru sahadaki yüzlerce yanıtı kirletecekti.