Kullanıcı Araştırmasında Açık Uçlu ve Kapalı Uçlu Sorular

Açık uçlu ve kapalı uçlu soru ayrımı kullanıcı araştırmasında en çok yanlış kurulan ayrımlardan biri. Çoğu anlatım bunu iyi soru / kötü soru ekseniyle karıştırıyor, oysa iki tip de gerekli. Asıl belirleyici olan sorunun kapalı olup olmadığı değil, cevabın içine sizin kelimenizi koyup koymadığı.

İki soru tipi, iki ayrı iş

Açık uçlu soruda katılımcı kendi kelimeleriyle cevap verir: “Bu işi en son ne zaman, nasıl yaptınız?” Kapalı uçlu soru cevabı önceden belirlenmiş bir kümeye düşürür: evet/hayır, seçenek listesi, ölçek. Biri keşif için, diğeri sayım için. Ayrım burada bitse sorun kalmaz.

Sorun, kapalı uçlu sorunun ikinci sınıf bir araç gibi anlatılmasıyla başlıyor.

Kapalı uçlu soru kötü soru demek değil

“Yaş aralığınız nedir?” kapalı bir sorudur ve kimse buna itiraz etmez. “Bu ekranı yardımcı buldunuz mu?” de kapalı bir sorudur ve gerçekten kötüdür. Aradaki fark kapalılık değil.

Üst üste binen iki ayrı eksen var: soru açık mı kapalı mı, ve soru yönlendirici mi nötr mü. “Yardımcı buldunuz mu?” cevabın içine “yardımcı” kelimesini önceden yerleştirir; katılımcı artık kendi çerçevesini anlatmıyor, sizinkini onaylıyor ya da reddediyor. Aynı yeri “Bu ekranda ne yaptınız?” diye yoklarsanız çerçeveyi katılımcı kurar.

İşleyen kural şu: olguyu kapalı sorun, yargıyı açık. Yaş, kullanım sıklığı, cihaz, daha önce girip girmediği kapalı sorulur. Ne beklediği, neden öyle yaptığı, o an ne hissettiği açık sorulur. Bu ikisini takas ettiğiniz anda ya sayamayacağınız veri toplarsınız ya da kendi hipotezinizi katılımcıya imzalatırsınız.

Soru sırası cevabı değiştirir

Huni tekniği, yani önce geniş açık sorular sonra daraltan kapalı sorular, genelde kolaylık gerekçesiyle anlatılır. Gerekçe bu değil. Sıra, bulaşmayı engellediği için böyle.

Görüşmeye “Bu akışı karmaşık buldunuz mu?” ile başlarsanız, on dakika sonra sorduğunuz “Deneyiminizi anlatır mısınız?” sorusunun cevabı temiz değildir. Karmaşıklık kelimesini masaya siz koydunuz, katılımcı oradan devam ediyor. Ters sırada bu risk yok: açık soru önce gelirse kapalı soru yalnızca teyit eder.

Demografik sorular tek istisna sayılabilir, çünkü cevabı bağlamdan etkilenmez. Yine de anketin en sıkıcı bölümüyle açılış yapmak tamamlama oranına yarar getirmiyor, sona bırakın.

Açık uçlu cevabın maliyeti analizde çıkıyor

Açık uçlu soru sormak ucuz, okumak pahalı. 30 kişilik bir çalışmada 6 açık uçlu soru sorduysanız elinizde 180 serbest metin var ve bunların hiçbiri kendiliğinden sayıya dönüşmüyor. Önce etiket listesi çıkarırsınız, sonra her cevabı o listeye düşürürsünüz, sonra iki kişinin aynı cevabı farklı etiketlediğini görüp oturup uzlaşırsınız. Katılımcı sayısı arttıkça bu iş doğrusal büyür, bulguların kalitesi büyümez.

Bu yüzden açık uçlu sorunun asıl yeri görüşme, kapalı uçlu sorunun asıl yeri ankettir. 500 kişilik bir ankete beş açık uçlu alan koyan ekip, o alanları ya hiç okumaz ya da okuduğunu sanır.

Anket formlarında açık uçlu alanı isteğe bağlı bırakmayı tercih ederim; zorunlu yaptığınız anda alan “-”, “yok”, “asdasd” ile dolar ve elinizdeki veri gürültüden ibaret kalır.

Açık uçlu sorunun gücü takip sorusunda

Tek başına açık soru dağınık cevap üretir. Değeri veren şey ardından gelen hat: “Bunu biraz açar mısınız?”, “Bir örnek verebilir misiniz?”, “O an ne olmasını bekliyordunuz?” İlk cevap çoğunlukla katılımcının hazır cümlesidir. Gerçek hikâye ikinci ya da üçüncü takipte çıkar.

Buradan doğrudan bir sonuç çıkıyor. Takip sorusu soramadığınız her ortamda açık uçlu sorunun getirisi düşüktür. Asenkron ankette, e-posta formunda, uygulama içindeki geri bildirim kutusunda sorduğunuz açık soru tek atışlıktır. Oralarda ölçülebilir kapalı sorular sorup tek bir serbest alanı en sona koymak daha iyi sonuç verir.

Yönlendirici soruyu nötre çevirmek

• “Zor bir deneyim miydi?” yerine “Bu adımda ne yaptınız?”
• “Beklediğiniz gibi miydi?” yerine “Ne bekliyordunuz, ne oldu?”
• “Yeni tasarımı beğendiniz mi?” yerine “Bu tasarımla ilk işinizi nasıl hallettiniz?”

Ortak nokta, sağ taraftaki soruların hiçbirinde değer yargısı taşıyan bir kelime bulunmaması. Beğenmek, kolay, zor, yardımcı, karmaşık. Bunları siz söylemezseniz katılımcı kendi kelimesini bulmak zorunda kalır. Aradığınız şey zaten o kelime.