UX Araştırma Yöntemi Seçimi: Hangi Soru Hangi Yöntemi Gerektirir
Yöntem seçimi genelde araç listesinden başlar: kullanıcı testi mi yapsak, anket mi, heatmap mi kursak. Sıralama ters. Önce elindeki sorunun ne tür bir soru olduğunu belirlersin, yöntem oradan neredeyse kendiliğinden düşer. Yanlış yöntemle toplanan veri sonradan kurtarılamaz, çünkü nerede saptığını da göstermez.
İki eksen, dört bölge
Yöntemleri sıralamak yerine iki soruyla yerleştirmek daha kullanışlı. Birincisi: kullanıcının söylediğini mi topluyorsun, yaptığını mı? Anket ve mülakat söyleneni toplar, kullanıcı testi ve analitik yapılanı. İkincisi: neden sorusunun peşinde misin, ne kadar sorusunun mu? İlki nitel, ikincisi nicel. Bu çerçevenin ayrıntılı hali Christian Rohrer'ın NN/g yazısında duruyor.
İki eksen kesişince dört bölge çıkar ve saha tartışmalarının çoğu aslında bölge karışıklığıdır. Anket sonucuyla davranışsal bir iddia kurulur, ya da beş kişilik bir testten dönüşüm oranı çıkarılır. Söylenen ile yapılan arasındaki mesafe özellikle yeni özelliklerde açılır: "böyle bir şey kullanır mıydınız" sorusuna evet diyen kişi, ürün çıktığında o ekrana hiç uğramaz. Bu yüzden özellik kararını ankete dayandırmam; anket bana beklentiyi ve kelimeleri verir, tercihi değil.
Sorudan yönteme
Eşleştirme pratikte şuna benziyor:
- "Kullanıcılar bu ekranda nerede takılıyor?" Moderasyonlu kullanıcı testi. Takılma anını görmen, sonradan anlatılmasından çok daha fazlasını söyler.
- "Kaç kişi takılıyor, ne kadar sürüyor?" Görev bazlı nicel test ya da olay tabanlı analitik.
- "Bu içerikleri nasıl gruplarlar, ne isim verirler?" Kart gruplama, ardından ağaç testi.
- "Neden yarıda bıraktılar?" Bırakan kullanıcıyla kısa mülakat. Çıkış anketi bu soruya nadiren cevap verir, çünkü cevaplayanlar zaten kalmayı seçmiş olanlardır.
Kaç katılımcı yeter
Kullanılabilirlik sorunlarını bulmak için beş kişinin yettiği tavsiyesi bir formülden gelir: tek kullanıcının bir sorunu yakalama olasılığı ortalama 0,31 alınırsa, n kullanıcının en az birinin yakalama olasılığı 1-(1-0,31)ⁿ olur. Beş kullanıcıda bu yaklaşık %84 eder. Nielsen'in özgün yazısı tam da bunu anlatıyor.
Atlanan sınır şu: formül sorun bulmayı tarif eder, ölçmeyi değil. Bir değişikliğin dönüşümü %2'den %2,4'e çıkardığını istatistiksel olarak ayırt etmek istiyorsan grup başına kabaca yirmi bin oturuma ihtiyacın var. Aynı ekip, aynı hafta, ama iki bambaşka bütçe. Beş kişilik testten çıkan "kullanıcılar butonu bulamadı" bulgusu sağlamdır; aynı testten çıkan "bu değişiklik dönüşümü artırır" cümlesi tahmindir.
İkinci sınır da örneklemin homojenliği. Beş kişi tek bir kullanıcı grubu demektir. Yeni kullanıcı ile yıllardır sistemi kullanan kişi aynı ekranda tamamen farklı yerlerde takılır; iki segmentin varsa beş değil, iki kere beş.
Analitik nerede susar
Heatmap görüntüsünü tek başına kanıt saymam. Tıklama yoğunluğu niyeti göstermez: tıklanabilir görünen ama tıklanamayan bir başlık da ekranda kıpkırmızı yanar, üstelik bu kırmızılık sorunun kendisidir, ilginin değil. Aynı şekilde yüksek etkileşim, kullanıcının aradığını bulamayıp ekranda dolaşması da olabilir.
Analitiğin daha sinsi sorunu tarafta değil, kurulumda. Olay adları sürümden sürüme değiştiyse ya da bir ölçüm ekibin haberi olmadan tetiklenmeyi bıraktıysa, elindeki grafik yine düzgün bir eğri çizer ve hiçbir yerde uyarı vermez. Kıyaslamaya oturmadan önce olay şemasının o iki tarih arasında değişip değişmediğini kontrol etmek, kaybedilen yarım günü sonradan çok kez geri veriyor.
Kart gruplama bir arayüz bileşeni değildir
Kart gruplama ile breadcrumb sık sık aynı cümlede geçiyor, oysa biri araştırma yöntemi, diğeri navigasyon bileşeni. Kart gruplama sana kullanıcının zihinsel modelini verir; breadcrumb o modeli arayüze taşıdığın araçlardan sadece biridir. Modeli hiç çıkarmadan breadcrumb koymak, kendi kategori ağacını kullanıcıya daha okunaklı biçimde dayatmaktan başka bir şey değil.
Kart gruplamanın kendi sınırı da var: gruplamayı doğru kursan bile etiketler kullanıcının kelimesi değilse sonuç değişmez, kullanıcı yine bulamaz. Bu yüzden kart gruplamayı ağaç testiyle eşleştirmek gerekiyor. Kart gruplama "neyi neyle birlikte düşünüyorlar" sorusunu, ağaç testi "bu isimlerle gerçekten bulabiliyorlar mı" sorusunu cevaplıyor.
Seçimi bütçe değil soru belirler
Yöntem seçimini bütçeye bağlamak yaygın ama yanlış: bütçe yöntemi değil, kaç tur yapacağını belirler. Dar bütçeyle beş kişilik bir tur yaparsın, geniş bütçeyle üç tur; ikisinde de yöntem, sorduğun sorunun türünden çıkar. Nitel yöntem sana hipotezi verir, nicel yöntem o hipotezin ne kadar yaygın olduğunu. Sırayı ters çevirdiğinde elinde yorumlayamadığın bir grafik kalır.