Tutumsal ve Davranışsal UX Araştırması Neyi Ölçer, Neyi Ölçmez
Tutumsal araştırma kullanıcının ne düşündüğünü sorar, davranışsal araştırma ne yaptığına bakar. Ayrım kitapta temiz durur, sahada bulanır: anket cevabı da bir davranıştır ve tıklama verisi de yalnızca birinin ölçmeye karar verdiği kadarını gösterir. İkisi birbirinin doğrulaması değil, farklı sorulara verilmiş cevaplardır.
Hangi soruyu sorduğun yöntemi belirliyor
Anket, birebir görüşme ve odak grubu beyan toplar. Kullanılabilirlik testi, analitik, A/B testi ve göz izleme eylem kaydeder. Bu listeler her yerde aynı sırayla tekrarlanıyor ama aralarındaki kalite farkı hiç konuşulmuyor: odak grubunu tutumsal yöntemlerin en zayıfı sayarım, çünkü masadaki en yüksek sesli katılımcının değerlendirmesi on dakika içinde diğerlerinin cümlelerine sızar ve elinde altı kişilik veri yerine tek kişilik veri kalır. Aynı bütçeyle altı ayrı görüşme yapmak neredeyse her zaman daha fazla bilgi verir.
"Söylediği ile yaptığı farklıdır" cümlesi fazla rahat kullanılıyor
Klasik örnek şöyle anlatılır: kullanıcı ankette bir özelliği gereksiz bulduğunu yazar, log kayıtlarında ise o özelliği en çok kullanan kişi çıkar. Buradan doğrudan "insan hafızası kusurlu, beyana güvenilmez" sonucuna atlamak rahat bir kaçış yolu, çünkü araştırmacıyı kendi ölçümünü sorgulamaktan kurtarıyor.
Bu çelişkinin büyük kısmı isimlendirmeden çıkar. Kullanıcı arayüzde "Hızlı filtre" diye bildiği şeyi ankette "gelişmiş segmentasyon aracı" olarak okuyunca tanımaz ve gereksiz bulduğunu söyler. Beyanla eylemin çeliştiği her yerde önce soru metnini, sorunun sorulduğu anı ve kullanıcının hangi ekranı hatırlayarak cevap verdiğini kontrol et. İnsan yanlılığı gerçek bir olgu, ama araştırma tasarımındaki hatanın üstünü örtmek için kullanılmayacak kadar gerçek.
Davranışsal veri sanıldığı kadar tarafsız değil
Analitik ekranında gördüğün her sayı, birinin geçmişte "bunu ölçelim" dediği için orada. Tanımlanmamış olay yoktur; kaydedilmeyen etkileşim raporda sıfır değil, hiç görünmez. Bu yüzden davranışsal veri nesnel gerçeği değil, ölçüm altyapısının izin verdiği kadarını yansıtır.
Bir projede ısı haritası ürün kartının köşesinde yoğun bir tıklama kümesi gösteriyordu, koda bakınca orada tıklanabilir hiçbir öğe olmadığını gördük: kullanıcılar büyümesini bekledikleri görsele boşuna vuruyordu.
Isı haritalarının ikinci sınırı erişilebilirlik tarafında. Klavyeyle gezen, ekran okuyucu kullanan veya işaretçiyi hiç oynatmadan sekme tuşuyla ilerleyen kullanıcı bu haritalarda yok gibi görünür. Odak sırasını ve klavye tuzaklarını gördüğün ayrı bir kayıt tutmuyorsan, davranışsal veri seni bu kullanıcıların sorunsuz ilerlediğine ikna eder.
A/B testinin faturası örneklemde
A/B testi "kesin veri" diye anlatılırken maliyeti nadiren yazılıyor. Oran karşılaştırmalarında kaba bir hesap kuralı var: grup başına gereken kullanıcı sayısı yaklaşık 16 × p(1-p) / d², burada p mevcut dönüşüm oranı, d yakalamak istediğin fark.
Dönüşümün %2 olduğu bir sayfada bunu %2,4'e çıkaran bir değişikliği (bağıl olarak %20 iyileşme, hiç de küçük bir kazanç değil) ölçmek istiyorsan: 16 × 0,02 × 0,98 / 0,004² hesabı grup başına yaklaşık 19.600 kullanıcı verir, iki varyant için 40.000. Bu hunye günde 500 ziyaretçi giriyorsa test seksen gün sürer. Seksen gün boyunca sezon, kampanya ve trafik kaynağı sabit kalmayacağı için sonuç zaten kirlenir.
Küçük ve orta trafikte A/B testi cevap üretmez, sadece gecikme üretir. O trafikte beş sekiz kişilik moderatörlü kullanılabilirlik testi aynı sorunu bir günde gösterir. A/B testini büyük hacimli akışlarda ve gerçekten iki tasarım arasında karar veremediğin durumlarda sakla.
Hangisiyle başlamalı
Çalışan bir ürünün ve ölçülebilir trafiğin varsa davranışsal veriyle başla: nerede düştüklerini, hangi adımda geri döndüklerini bul. Davranışsal veri sana yalnızca "burada bir şey oluyor" der, nedenini vermez; o noktayı bulduktan sonra aynı adımı beş kullanıcıya yaptırıp neyi beklediklerini sor.
Ürün henüz yoksa sıra tersine döner, önce görüşme yaparsın. Ama görüşmede duyduğun cümleleri gereksinim listesine çevirme; insanların istediğini söylediği özellik ile kullandığı özellik farklı kümelerdir ve bu farkı ancak prototiple yapılan bir test kapatır. İki yöntemi "birlikte kullanmak" demek ikisini aynı rapora koymak değil, birinin bulgusunu diğerinin sorusuna çevirmek demek.