Nitel Veriyi Anekdottan Ayıran Şey: Prosedür
Nitel araştırma bulguları toplantıda sık sık aynı cümleyle karşılanır: "Bu sadece birkaç kişinin görüşü." İtiraz bazen haklıdır. Kaydedilmemiş, kodlanmamış, başka biri tarafından tekrar edilemeyecek bir görüşme notu gerçekten anekdottur. Farkı yaratan verinin türü değil, toplanma ve işlenme biçimidir.
Anekdotu veriye çeviren adımlar
Nitel veriyi savunulabilir kılan şey, aynı ham kayıttan yola çıkan ikinci bir araştırmacının benzer sonuçlara varabilmesi. Bunu sağlayan sıra şöyle işliyor:
- Ham kayıt saklanır. Oturum videosu ya da dökümü olmadan geri dönüp kontrol edilecek bir şey kalmaz.
- Döküm parçalara ayrılır ve her anlamlı parçaya bir kod, yani kısa bir etiket verilir. "Filtre panelini bulamadı", "fiyatın KDV dahil olup olmadığından emin değil" gibi.
- İlk iki üç oturumdan sonra kod listesi sabitlenir ve baştan itibaren yeniden uygulanır. Kodlar yol boyunca değişirse ilk oturumlar sonrakilerle karşılaştırılamaz hale gelir.
- Kodlar tema altında toplanır. Beş ayrı kod tek bir kök nedene çıkıyorsa, bulgu o köktür.
- Her bulgu en az bir ham alıntıya bağlanır. Bağlanamıyorsa o bulgu araştırmacının yorumudur, katılımcının davranışı değil.
İki kişi aynı kaydı kodlarsa
Kodlamanın güvenilirliğini ölçmenin pratik yolu var: iki araştırmacı aynı iki oturumu birbirinden bağımsız kodlar, sonra listeleri yan yana koyar. Anlaşmazlık yüksekse sorun katılımcılarda değil, kod tanımlarının belirsizliğindedir; tanımı netleştirip tekrar edersiniz. Bu aşama için özel bir nitel analiz yazılımı gerekmiyor, iki sütunlu bir tablo işi görüyor (pahalı araçların çoğu kodlamanın kendisini değil raporlamasını kolaylaştırıyor).
"Beş kullanıcı yeter" cümlesinin sınırı
Bu cümlenin arkasında basit bir olasılık hesabı var. Nielsen'in formülüne göre n kullanıcıyla bulunan problem oranı 1-(1-p)^n şeklinde ilerliyor ve ortalama p değeri 0,31 alındığında beş kullanıcı problemlerin yaklaşık yüzde 84'üne ulaşıyor.
Formülün varsayımını görmek gerekiyor: p, tek bir kullanıcı grubunun tek bir görev kümesindeki ortalama keşif olasılığı. Üç farklı kullanıcı tipiniz varsa (diyelim yeni kayıt olan, düzenli kullanan ve yönetici rolündeki) beş kişi toplamda değil, her grup için beş kişi demektir. Toplamınız on beşe çıkar. Aynı şekilde p'si düşük problemler, yani sadece belirli bir koşulda tetiklenen akışlardaki takılmalar, beş oturumda büyük ihtimalle hiç görünmez.
Asimetriyi akılda tutun: küçük örneklem, var olan problemi bulmakta iyidir, problemin yokluğunu kanıtlamakta değildir. Altı kişinin yeni özelliği sorunsuz kullanması "bu akış temiz" demek değil, sadece "bu altı kişinin takıldığı bir yer çıkmadı" demek.
Ne zaman duracağınızı nasıl bilirsiniz
Doyum noktası tahminle değil sayarak belirlenir. Her oturumdan sonra o oturumda ilk kez ortaya çıkan kod sayısını not edin. Bu sayı ilk oturumlarda yüksek olur, sonra düşer. Arka arkaya iki oturum yeni kod üretmiyorsa o katılımcı profilinde doyuma yaklaşmışsınızdır. Yeni bir profile geçtiğinizde sayaç sıfırlanır, çünkü yeni grup kendi kodlarını getirir.
Nicel veriyle nerede birleşir
Nitel ve nicel yöntemler birbirinin alternatifi değil, sıradaki iki adım. Huni raporu size kullanıcıların hangi adımda düştüğünü söyler, nedenini söylemez. Beş oturum o adımda ne olduğunu gösterir ama kaç kişiyi etkilediğini ölçmez.
Bu yüzden sıralama şöyle kurulur: nicel veri nereye bakacağınızı belirler, nitel veri hipotezi üretir, sonra o hipotezi doğrulayacak ölçüm eklenir. Üçüncü adım genelde atlanıyor, oysa maliyeti düşük; ilgili adıma tek bir olay kaydı eklemek çoğu üründe birkaç satırlık iş ve tasarım değişikliğinin işe yarayıp yaramadığını tartışmadan çıkarıp veriye taşıyor.
En sık yapılan hata
Katılımcının söylediği çözümü bulgu olarak kaydetmek. "Buraya bir buton koysanız" cümlesindeki veri buton değil, kullanıcının o noktada aradığı şeyi bulamamış olması. Çözüm önerisini olduğu gibi yol haritasına taşıyan ekipler, birbiriyle çelişen onlarca küçük talep biriktirir ve hiçbirini uygulayamaz.
Kodlama sırasında ayrımı baştan yapın: davranış bir sütuna, kullanıcının yorumu başka bir sütuna. Karar verirken birinci sütun ağır basar.