Anket Ne Zaman Doğru Yöntem, Ne Zaman Değildir

Anket, katılımcının ne hissettiğini ve bu hissin hangi oranda yaygın olduğunu ölçer. Araştırma sorunuz bu ikisinden birine indirgenemiyorsa elinizdeki şey anket sorusu değildir. Yöntemi soruya göre seçmek, örneklemi büyütmekten çok daha fazla güvenilirlik kazandırır.

Anketin gerçekten ölçtüğü şey

Anket, cevabı bir orana indirgenebilen sorularda iyi çalışır:

• Bu ekranı ilk kez kullanan katılımcıların yüzde kaçı kendini yeterli hissediyor?
• Yeni sürümün genel memnuniyet puanı öncekine göre nereye gitti?
• Katılımcıların ne kadarı şu özelliği kullanmayı düşünüyor?

Üçünün de ortak yanı var: cevap bir sayıya dönüşüyor ve katılımcı kendi zihnindeki durumu bildiriyor. Anketin doğal alanı burası. Bir kullanım hatasının nereden çıktığını, insanın neden o butona bakıp geçtiğini bu formatta öğrenemezsiniz, çünkü katılımcı da bilmiyor.

Örneklemi büyütmenin getirisi hızla azalır

Peki n arttıkça her şey düzelmez mi? Sayıya bakalım. Evet/hayır tipi bir soruda, yüzde 95 güven düzeyinde hata payı kabaca 0,98/√n ile ölçeklenir. 400 katılımcıda yaklaşık yüzde 4,9, 1600 katılımcıda yaklaşık yüzde 2,45 çıkar. Katılımcı sayısını dörde katlayıp belirsizliği yalnızca yarıya indirdiniz. Dört kat maliyet, iki buçuk puanlık kazanç.

Asıl mesele şu: bu hesap yalnızca rastgele örnekleme hatasını kapsar. Yönlendirici bir soru, ankete cevap verecek kadar ilgili olan kullanıcıların zaten memnun kullanıcılar olması ya da ölçeğin ortasının kaçırılması, n ne olursa olsun düzelmez. Sistematik hata örneklemle küçülmez, sadece daha dar bir güven aralığıyla raporlanır ve bu onu daha ikna edici gösterir.

"Neden" sorusu anketten çıkmaz

Anketin ucuna açık uçlu bir kutu koysak yeter mi? Genelde yetmez. Yazılı cevaplar kısa gelir, insanların çoğu boş bırakır, dolduranlar da en uçtaki iki gruptur: çok kızgın ve çok memnun olanlar. Dahası, cevabı okuduğunuzda takip sorusu soramazsınız. "Karışık geldi" cümlesinin arkasında ne var, bunu ancak konuşurken açabilirsiniz.

Neden sorusu için görüşme ya da gözlem gerekir. Anket, o görüşmeden çıkan bulgunun ne kadar yaygın olduğunu ölçmek için sonradan devreye girer. Sıra bu yönde işlediğinde ikisi birbirini güçlendirir; ters sırada anket, ne aradığını bilmeyen bir soru listesine dönüşür.

Soruyu yazmak aracı seçmekten uzun sürer

Anket aracını beş dakikada açarsınız, soruyu doğru kurmak günler alır. Her madde tek bir şey sormalı, katılımcıyı beklenen cevaba itmemeli ve ölçek katılımcının gerçek konumunu işaretleyebileceği kadar aralıklı olmalı. Sonra pilot uygulama: beş on kişiye verin, sorulardan hangisinde durakladıklarını izleyin. Tek kelimelik bir değişiklik oranları belirgin biçimde kaydırabilir, bu yüzden pilotta kaybedilen yarım gün sonradan atılacak bir veri setinden ucuzdur.

Anketi davranış verisiyle eşleştirin

Bir özelliğin kullanım oranını sormak yerine, o özelliğin gerçekten kaç oturumda çağrıldığına loglardan bakmayı tercih ederim; anket niyeti verir, log davranışı. İkisi çeliştiğinde asıl bulgu oradadır. Katılımcıların yarısı özelliği düzenli kullandığını söylüyor ama olay kaydında ayda bir kez görünüyorsa, cevaplanması gereken soru artık memnuniyet değil, insanların neden kullandıklarını sandıkları bir şeyi kullanmadığıdır.

Nicel ve nitel veriyi yan yana koymak (triangulasyon) tam olarak bunun için var. Tek kaynağa dayanan bir bulgu, kaynağın kendi çarpıtmasını da beraberinde taşır.