Nitel Araştırmada Sayı Toplamak: Sorun Ölçmek Değil, Genellemek
Nitel bir testte süre tutmak ya da kaç kişinin görevi bitirdiğini saymak sık sık sakıncalı sayılır. Sakıncalı olan sayıyı tutmak değil, beş kişiden çıkan sayıyı tüm kullanıcı tabanına ait bir oranmış gibi yazmak. Aradaki fark ölçüm aletinde değil, rapordaki cümlede.
Beş kişilik testte bir katılımcı yirmi puan eder
Küçük örneklemde oran hesabının neden çöktüğünü görmek için istatistik bilmek gerekmiyor, bölme işlemi yetiyor. Beş katılımcılı bir oturumda tek bir kişinin görevi bitirip bitirmemesi başarı oranını yirmi puan oynatır; altı kişide yaklaşık on yedi puan. Katılımcının o gün acelesi olması, ekranı küçük bulması, testten hemen önce benzer bir uygulama kullanmış olması, hepsi aynı yirmi puanı üretebilir.
Buna rağmen “katılımcıların %60’ı görevi tamamladı” cümlesi raporlarda rahat yer buluyor. Cümle teknik olarak yanlış değil, o beş kişiden üçü gerçekten tamamladı. Sorun, okuyanın bunu bir ölçüm olarak hatırlaması.
“Yüzde yazma” kuralı kendi kendini çeliyor
Nitel raporlamada yaygın tavsiye yüzdeyi yasaklayıp yerine “6 katılımcıdan yalnızca 1’i destek talebini tamamlayabildi” biçimini öneriyor. Ama 1/6 zaten %16,7. Kural yüzde işaretini dışarı atıyor, genellemeyi değil.
Ayıran şey oranın biçimi değil, cümlenin kim hakkında olduğu. “6 katılımcıdan 1’i” o altı kişi hakkında konuşur ve paydayı okurun gözüne sokar. “Kullanıcıların %17’si” herkes hakkında konuşur ve paydayı saklar. Payda saklandığında okur veriye olduğundan fazla güvenir: 1/6 için %95 güven aralığı %0,4 ile %64 arasında uzanıyor, yani aynı veri “neredeyse kimse” ile “üçte ikisi” arasındaki her ihtimalle uyumlu.
Yaz: 6 katılımcıdan 1’i destek talebini tamamlayabildi.
Yazma: Kullanıcıların %17’si destek talebini tamamlıyor.
Nicel çalışmaya geçmek meseleyi otomatik kapatmaz
“Ölçüm sizin için kritikse ayrı bir nicel çalışma planlayın, 40 katılımcı yeter” tavsiyesi de olduğu gibi alınacak cinsten değil. Başarı oranının %50 civarında olduğu bir işte 40 kişiyle çalışırsan sonuç yaklaşık on beş puanlık bir hata payıyla gelir: elindeki sayı %35 ile %65 arasında herhangi bir yerde olabilir. Bu genişlikle %45 ile %60’ı birbirinden ayıramazsın.
Örneklem büyüklüğü, ölçmek istediğin farkın büyüklüğüyle birlikte seçilir. Aradığın fark büyükse beş kişilik nitel oturumda da gözüne çarpar; küçükse 40 kişi sana farkı değil, yalnızca kesinlik hissini verir.
Sayı raporda nereye yazılır
Sayıyı tamamen atmak gereksiz. Süre ve tamamlama bilgisi, nereye bakılacağını gösteren işaret olarak işe yarıyor: bir katılımcının restoran aramaya sekiz dakika harcaması, o ekranda ne olduğunu kaydı geri sararak izlemen için yeterli gerekçe. Aynı sayı “ortalama arama süresi dört dakika” diye toplulaştırıldığında gerekçe kayboluyor, çünkü kimin nerede takıldığı artık görünmüyor.
Görev süresini ben genelde ekran kaydının zaman damgasından çıkarırım, oturum sırasında kronometre tutmak yerine. Görevin tam olarak nerede bittiğine sonradan, kaydı izleyerek karar vermek daha isabetli oluyor; canlı oturumda o kararı saniyesinde vermek zorundasın ve genelde yanlış veriyorsun.
Bulguyu paydaşa götürürken payda cümlenin içinde kalsın. “Test ettiğimiz altı kişiden beşi filtre butonunu görmedi” ifadesi yüzdeye çevrilmiş halinden hem daha dürüst hem daha ikna edici, çünkü dinleyen altı kişiyi gözünün önüne getirebiliyor, %83’ü getiremiyor.