Araştırma Bulgusunu Tasarım Kararına Çevirmek

Araştırma raporu tesliminden sonra işin zor kısmı başlar: elindeki otuz maddelik bulgu listesi bir yapılacaklar listesi değildir. Bulguların bir kısmı tek satırlık düzeltme, bir kısmı veri modelini değiştirmeyi gerektirir, bir kısmı da senin kendi analitiğinle açıkça çelişir. Bu üçünü ayırmadan başlanan uygulama, raporun rafa kalkmasıyla biter.

Bulgu, karar değildir

Bir kullanıcı testinde "katılımcıların dördü filtre panelini göremedi" cümlesi bir gözlemdir. Bundan "filtre panelini sola alalım" kararına giden yol düz değil. Aradaki basamak, gözlemin nedenine dair bir hipotez kurmak: görülmediği için mi, filtre ihtiyacı o ekranda doğmadığı için mi, yoksa panel görüldü de tıklanabilir görünmediği için mi?

Bu basamağı atlayan ekipler bulguyu doğrudan çözüme çevirir ve sonra iyileşme gelmeyince araştırmaya güvenini kaybeder. Oysa yanlış olan bulgu değil, bulgudan çözüme atlanan mesafeydi. Raporu okurken her maddenin yanına neden tahminini yazmak, sonradan neyi test edeceğini de belirler.

Önceliklendirme: etki, sıklık, maliyet

Listeyi sıralamanın işe yarayan hali üç soruyu yan yana koymak:

• Kaç kullanıcı bu yolu geçiyor? Ödeme adımındaki bir sürtünme, ayarlar sayfasındaki aynı sürtünmeden çok daha pahalı.
• Karşılaştığında ne oluyor? Yavaşlıyor mu, yoksa vazgeçiyor mu? Bu ikisi aynı torbaya konmaz.
• Düzeltmek neye mal oluyor?

Üçüncü soru raporlarda neredeyse hiç geçmez, çünkü raporu yazan kişi genelde uygulamayı yapmaz. Ama fark büyüktür: "hata mesajı alanın altında görünsün" ile "kullanıcı siparişini adres girmeden kaydedebilsin" arasında bir şablon değişikliğiyle bir şema değişikliği kadar mesafe var. İkincisi sprint planına girer, birincisi öğleden sonra biter. Listeyi mühendisle birlikte gözden geçirdiğinde, düşük etkili ama bedava olan üç maddeyi hemen kapatıp tartışmayı gerçekten pahalı olanlara saklayabilirsin.

Bulgu kendi verinle çeliştiğinde

Genel bir araştırma bulgusu, ki çoğu zaman başka ürünlerde başka kullanıcılarla toplanmıştır, senin analitiğinin söylediğinin tersini söyleyebilir. Buradaki refleks genelde "demek ki bizim kullanıcılarımız farklı" olur. Bazen doğrudur. Ama karar vermeden önce iki verinin aynı soruyu cevaplayıp cevaplamadığına bakmak gerekiyor, çünkü çoğu çelişki aslında yöntem farkından doğan sahte bir çelişkidir.

Yöntemlerin ne cevaplayabildiği birbirinden keskin biçimde ayrılır. Beş kişilik moderasyonlu bir test, arayüzdeki tökezleme noktalarını bulmak için yeterlidir; bu sayının arkasındaki mantık problemlerin keşfedilme olasılığına dayanır, oran tahminine değil. Aynı beş kişiyle "kullanıcıların yüzde kaçı bu yolu tercih ediyor" sorusunu cevaplayamazsın. Bir bulguyu doğrulamak gerektiğinde beş kişilik moderasyonlu testi aynı soruyu soran bir ankete tercih ederim, çünkü insanlar ne yaptıklarını değil ne yaptıklarını sandıklarını anlatır; ama tercih ettiğim şey problemi görmek, oranı ölçmek değil.

Oran ölçmek istiyorsan hesap acımasız. Dönüşümü yüzde 4'ten yüzde 5'e çıkardığını makul bir güvenle gösterebilmek için varyant başına kabaca yedi bin ziyaretçi gerekir. Kaba kural şudur: gereken örneklem, aradığın farkın karesiyle ters orantılı büyür, yani farkı yarıya indirdiğinde ihtiyacın dört katına çıkar. Günde iki yüz ziyaretçi alan bir sayfada bu test aylar sürer ve o süre boyunca sitede başka hiçbir şeyi değiştirmemen gerekir. Böyle bir trafikte A/B testi, çelişkiyi çözmenin değil, kararı ertelemenin adıdır. O durumda beş kişiyle oturup neden öyle davrandıklarını izlemek daha hızlı ve daha dürüst bir yol.

Uygulandı mı, nasıl anlarsın

Bir bulgunun kapandığını söyleyebilmek için, değişiklikten önce neyi ölçtüğünü yazmış olman gerekir. Adım tamamlama oranı, geri dönüş sayısı, hata mesajı görülme sıklığı; hangisiyse, değişiklik canlıya çıkmadan önce not edilmiş olmalı. Sonradan bakılan sayı her zaman iyi görünür, çünkü ne aradığını değişiklikten sonra seçmiş olursun.

Araştırmayı tekrarlama aralığını takvime bağlamak da işe yaramıyor. Anlamlı tetikleyici yeni bir akış eklemek, hedef kitlenin genişlemesi veya destek taleplerinin şeklinin değişmesi. Destek kayıtları bu yüzden en ucuz sürekli araştırma kaynağı: kimseye soru sormadan, kullanıcıların nerede takıldığını her hafta yazılı olarak sana veriyor.