Nitel Anket Hazırlama: Soru Yazımı, Pilot ve Kodlama Maliyeti

Açık uçlu bir anket, katılımcıya söz hakkı verdiği kadar araştırmacıya iş çıkarır. Soru eklemek bir dakika sürer, o sorunun yanıtlarını okuyup kodlamak günler sürer. Anket tasarımındaki kararların çoğu aslında bu iki taraf arasındaki pazarlıktır.

Her açık uçlu soru bir analiz borcudur

Kaç soru sorulacağına karar verirken tamamlanma oranı konuşulur, kodlama süresi konuşulmaz. Basit bir çarpım durumu görünür kılıyor: 300 yanıtlayan ve sekiz açık uçlu soru, elinde 2.400 serbest metin demek. Yanıt başına bir dakikada okuyup etiketlesen kırk saat eder, üstelik bu yalnızca ilk geçiş; tema listesi oturduktan sonra genelde baştan bir tur daha atılır.

Sekiz soruyu üçe indirdiğinde aynı hesap on beş saate düşer. Peki kalan beş sorunun bilgisi nereden gelecek? Çoğu zaman gelmesine gerek kalmaz, çünkü o sorular araştırma hedefinden değil, madem soruyoruz şunu da ekleyelim refleksinden doğar.

Soru, cevabı içinde taşımasın

"X ürününü neden seviyorsunuz?" sorusu sevginin varlığını baştan kabul eder ve katılımcıya bunu doğrulamaktan başka yol bırakmaz. "X ürünüyle ilgili son deneyiminiz nasıldı?" aynı alanı açar, yönü belirlemez.

Peki tarafsız soru her zaman daha mı iyi? Hayır. Fazla geniş sorular ("deneyiminizi anlatın") ya boş ya tek cümlelik yanıt üretir. İşleyen orta yol, yönü değil bağlamı sabitlemek: hangi an, hangi görev, hangi ekran sorulduğunu söyle, değerlendirmeyi katılımcıya bırak.

Rastgeleleştirme nicel bir alışkanlık

Sıra etkisini azaltmak için soruları karıştırmak nicel ölçeklerde mantıklıdır. Açık uçlu bir ankette bunun bedeli var. Yanıtlar birbirine yaslanır; üçüncü soruda anlatılan olay dördüncü sorunun cevabını taşır, sıra bozulunca bu bağ kopar ve kodlama sırasında bağlamı elle kurmaya çalışırsın.

Yarım bırakılan anketlerde durum daha da net. Rastgele sırada herkes farklı bir alt kümeyi yanıtlar, dolayısıyla her sorunun kendi yanıtlayan sayısı olur. Temaları sayarken paydalar artık eşit değildir, "katılımcıların yarısı" cümlesi hangi yarıdan bahsettiğini ayrıca açıklamak zorunda kalır. Nitel bir ankette sabit ve mantıklı bir sıralama, sıra etkisinden daha az zarar verir.

Pilotu ekip içinde yapmak sayılmaz

Ekip arkadaşın soruyu senin kastettiğin gibi okur, çünkü ürünü zaten biliyor. Anlaşılmayan soru orada görünmez. Dışarıdan beş kişiyle sesli düşündürerek yapılan tek tur, ekip içi on turdan fazlasını gösterir.

Pilotta izlenecek şey cevabın içeriği değil, duraksamalar. Soruyu ikinci kez okuyorsa cümle uzundur. Geri dönüp önceki soruya bakıyorsa bağlam eksiktir. Üç kelimeyle geçiştiriyorsa soru onun için anlamlı değildir.

Küçük örneklemi yüzdeyle büyütme

Nitel veri küçük örneklemden gelir, bu yöntemin kusuru değil kendisidir. Sorun raporlamada başlar: 12 kişilik bir çalışmada "katılımcıların %25'i" yazdığında üç kişiden söz ediyorsun, okuyansa bunu bir eğilim sanıyor. Sayıyı olduğu gibi yaz, üç kişi üç kişidir.

Soru metninin A/B testi de benzer bir yanılsama üretir. Ölçtüğü şey yanıt oranıdır, yanıt kalitesi değil. Hangi versiyonun daha çok doldurulduğunu görürsün; hangisinin kullanılabilir içgörü ürettiğini yine oturup okuyarak anlarsın.