Anket Sorularını İyileştirmek: Pilot Test ve Revizyon Döngüsü

Anket sorusu yazmak kolay görünür. İlk pilotta yanıtlar gelmeye başlayınca iş değişir: katılımcıların bir kısmı sorudan tamamen başka bir şey anlamıştır. Asıl beceri soruyu tek seferde doğru yazmak değil, yanlış anlaşıldığı yeri beş kişiyle ve iki saatte görebilmek.

Beş kişilik pilot neyi yakalar

Pilot çalışmanın bu kadar ucuz olmasının bir nedeni var: aradığın hata türü seyrek değil. Bir soruda belirsiz bir kelime varsa beş kişiden ikisi aynı yerde duraklar. Anlama problemi istatistik gerektirmez, tekrar gerektirir.

Peki beş kişi her şey için yeterli mi? Değil. Yanıt dağılımını, yani "katılımcıların ne kadarı şunu söylüyor" sorusunu bu grupla kestirmeye kalkarsan elinde rastgele bir sayı olur. Pilotun işi soruyu sınamak, cevabı öğrenmek değil. Bu ikisinin karışması pilot testin en pahalı yanlış kullanımı: beş kişilik veriden eğilim çıkaran ekip asıl ankete hiç ihtiyaç duymadığına karar veriyor.

Katılımcıdan yanıtlamaya başlamadan önce soruyu kendi cümleleriyle tekrar etmesini iste. Yüksek sesle düşünmekten daha dar bir ölçüm, ama daha keskin: soruyu nasıl yorumladığını, cevabını gerekçelendirmeye girişmeden duyarsın.

Açıklama eklemek, yanlılık yaratmak

Anket rehberleri iki tavsiyeyi sık sık yan yana verir ve çeliştiklerini fark etmez: "belirsiz soruya açıklama ve örnek ekle" ile "fazla açıklama katılımcıyı verilen örneklerle sınırlar". İkisi de doğru. Aynı anda uygulanamaz.

Ayrım şurada: kapsam tanımı ile cevap örneği aynı şey değil. "Yazılım aracı derken ücretli abonelikleri de sayıyoruz, tarayıcı eklentilerini saymıyoruz" bir sınır çizer, cevabı söylemez. "Örneğin Figma, Notion gibi" ise hatırlama kümesini daraltır; katılımcı kendi kullandığı üçüncü aracı artık aklına getirmez.

Sınır koy, örnek verme. Örnek vermeden anlaşılmayan bir soru genelde fazla geniş sorulmuştur, çözümü de açıklama değil daraltmadır.

"Geçen yıl" ne zaman başlıyor

Somut zaman aralığı kullanma tavsiyesi yerinde, ama buna örnek olarak verilen "geçen yıl" ifadesi Türkçede iki ayrı şeye bakar: takvim yılı mı, son on iki ay mı? Ekim ayında anket dolduran biri için bu ayrım on aylık bir fark yaratır, yani aralığın kendisinden daha büyük bir hata payı.

"Son 12 ayda" ya da tarihli bir sınır ("1 Ocak'tan bu yana") belirsizliği kapatır. Hangisini seçeceğin ölçtüğün şeye bağlı: davranış sıklığı soruyorsan kayan 12 ay, bütçe ya da raporlama dönemi soruyorsan takvim yılı.

Sıra etkisini rastgeleleştirme çözmez

Önceki soru sonrakini yönlendiriyorsa, sırayı rastgeleleştirmek bu etkiyi ortadan kaldırmaz. Sistematik kaymayı gürültüye çevirir: ortalamadaki yanlılık azalır, varyans artar, aynı kesinliğe ulaşmak için daha fazla katılımcı gerekir. Bilerek yapılırsa iyi bir takas, farkında olmadan yapılırsa kaybolmuş bir etki.

Soru sırasını rastgele veriyorsan gösterilen sırayı da kaydet: tek bir alan, ama sıra etkisini sonradan ölçebilmenin tek yolu o. Permütasyonun tamamını tutmak bile her şeyi vermez; sekiz soruluk bir blokta 8! = 40.320 olası sıra vardır, iki yüz katılımcıyla aynı sıraya iki kişi bile düşmez. Ölçebileceğin şey sıranın kendisi değil pozisyon: bu soru üçüncü sırada sorulduğunda gelen yanıtlar yedinci sıradakinden farklı mı? Bunun için her sorunun kaçıncı sırada gösterildiğini tutmak yeter.

Döngü nerede kesilir

İteratif tasarımın bitiş koşulu genellikle söylenmez, oysa bitiş koşulu olmayan bir döngü soruyu cilalamaya dönüşür. Pratik ölçüt şu: iki üst üste turda hiçbir katılımcı aynı maddede duraklamıyorsa ve soruyu tekrar ederken kullandıkları ifade senin kastettiğinle örtüşüyorsa o soru bitmiştir.

Daha sık rastlanan durum ise revizyonun soruyu değil anketi küçültmesi gerektiği. Pilotta en çok duraklamaya yol açan madde çoğu zaman iki soruyu birleştirmiş olan maddedir; onu ikiye ayırmak, aynı cümleyi üçüncü kez yazmaktan hızlı sonuç verir.