Kullanılabilirlikte Empirizm ve İdeoloji: Hangisi Ne Zaman?

Kullanılabilirlik tartışması iki kampa bölünmüş görünür: ölçenler ve savunanlar. Bölünme sahte değil, ama sanıldığı yerden geçmiyor. Testin karar verebildiği sorularla veremediği sorular farklıdır; ikincisinde ilkeye başvurmak zaaf değil, elde kalan tek makul yöntemdir.

Ölçüm tam olarak neyi söyler

Empirik yöntem dediğimiz şey tek bir alet değil, birbirinin yerine geçmeyen üç alet. A/B testi, yapılmış iki alternatifi tek bir metrik üzerinden sıralar; hangisinin kazandığını söyler, neden kazandığını söylemez. Beş kişilik kullanılabilirlik oturumu tam tersini yapar: nedeni gösterir, ama sıralama yapacak istatistiksel gücü yoktur ve zaten bunun için tasarlanmamıştır. Analitik ise yalnızca terk noktasını verir.

Sahadaki en yaygın hata bu üçünü birbirinin kanıtı saymak. "A/B testi B'yi kazandırdı" cümlesi "kullanıcılar B'yi istiyor" anlamına gelmez; yalnızca o hafta, o trafik karışımında, o metrikte B'nin önde bittiği anlamına gelir. Metriği değiştirin, sonuç değişebilir.

Testin ulaşamadığı sorular

Empirizmin sınırı ideolojik değil, aritmetik. Bir değişikliğe karar vermek için 10.000 oturum gerekiyorsa, aynı kararı trafiğin yüzde birini oluşturan bir kullanıcı grubu için vermek 1.000.000 oturum ister. Ekran okuyucu kullananlar, motor becerisi kısıtlı olanlar, çok düşük bant genişliğinden bağlananlar bu eşiğin altında kalır. Onlar için yapılan bir iyileştirme hiçbir zaman "anlamlı" çıkmaz. Çıkmaması, işe yaramadığı anlamına gelmez; ölçüm aletinin o çözünürlükte olmadığı anlamına gelir.

İkinci sınır daha sinsi: test yalnızca var olanı karşılaştırır. Formu hiç tamamlayamayan kullanıcı dönüşüm hunisinde görünmez, çünkü hunide zaten yoktur. Veri, hayatta kalanların verisidir. Bir projede sekme sırası bozuk bir ödeme formunu düzelttik, dönüşüm grafiğinde ölçülebilir hiçbir şey olmadı; doğru işi yaptığımızı testten değil, klavyeyle formu baştan sona geçmeye çalışmaktan biliyorduk.

İlke karar verdiğinde

"Teknoloji ile kullanıcı çatışıyorsa değişmesi gereken teknolojidir" cümlesi bir slogan gibi okunur, oysa oldukça teknik bir karardır: maliyeti kimin taşıyacağını baştan atar. Kullanıcı taşırsa maliyet dağılır ve görünmez olur, binlerce kişinin birkaç saniyesi kimsenin raporuna girmez. Ekip taşırsa maliyet tek yerde toplanır, ölçülebilir hale gelir, bütçelenir. İkincisi yönetilebilir olan.

Bunun bir de ters tarafı var. Veriye hiç bakmadan ilkeyle ilerlemek, kısa sürede ilke olmaktan çıkıp kişisel zevke dönüşür. Ayrım şurada: ilke "kim ödeyecek", "hangi hata geri alınabilir olmalı", "kullanıcı ne yaptığını anlıyor mu" sorularına cevap verir. Butonun tonunu, listenin sırasını, başlığın uzunluğunu ilkeyle savunmaya kalkarsanız tartışmayı kaybedersiniz, haklı olarak.

Ayrım çizgisi

Karar verirken baktığım üç şey var, sırayla:

1. Soru geri alınabilir ve tek metrikle ifade edilebiliyor, örneklem de yetiyorsa ölçün. Burada sezgi gerçekten kötü bir danışman.
2. Etkilenen grup örneklemde istatistiksel olarak görünmüyorsa ölçmeyi bırakın. Beş kişiyle yapılan gözlem, anlamlılık çıkmayan on bin oturumdan daha çok bilgi taşır.
3. Soru veri kaybı, para, gizlilik ya da erişim hakkıyla ilgiliyse test etmeyin, düzeltin. Bu tür hataların beklenen maliyeti dönüşüm oranıyla ölçülmez.

Yani empirizm ile ideoloji arasında bir denge aranmıyor. Soruların bir kısmı birinciye, bir kısmı ikinciye ait. İşin ustalığı, elindeki sorunun hangisi olduğunu daha başta doğru teşhis etmekte.