Kullanıcı Testlerinde Aykırı Süreler: Şans Değil, Biriken Aksilik

Kullanıcı testlerinde bazı oturumlar diğerlerinin üç katı sürer. O sürenin sahibi genellikle beceriksiz bir kullanıcı değildir: yanlış tıklanan bir bağlantı, ekranın altında kalmış bir alan, tam görev ortasında açılan bir katman. Aynı kişi başka bir oturumda en hızlılar arasına girebiliyor, demek ki aykırılık kullanıcının değil akışın özelliği.

Aykırılık kişiye değil oturuma ait

Yavaşlık kalıcı bir kullanıcı özelliği olsaydı, kuyrukta hep aynı katılımcıları görürdük. Görmüyoruz. Bir testte en yavaş yüzdelik dilimde kalan katılımcı, bir sonraki görevde ortalamanın üstünde hızlı bitirebiliyor. Bu tek gözlem, verideki uzun kuyruğu okuma biçimini baştan değiştirir: elinizde yavaş kullanıcılar yok, yavaş geçmiş oturumlar var.

Fark pratikte şuna dönüşüyor. Yavaşlığı kullanıcıya yazarsanız yapacak bir şey kalmaz, örneklem böyleydi dersiniz. Oturuma yazarsanız o oturumda ne olduğunu izleyip düzeltecek bir arıza kaydı elde edersiniz.

Aksiliğin aritmetiği

Kötü şans sanıldığı kadar nadir değil, çünkü oturum tek adımdan oluşmuyor. On adımlı bir akışta her adımın pürüzsüz geçme olasılığı yüzde 98 ise, oturumun tamamının pürüzsüz geçme olasılığı 0,98 üzeri 10, yani yüzde 82. Her beş oturumdan biri en az bir aksilikle karşılaşıyor. Hiçbir adım tek başına bozuk değilken.

Bu çarpımın pratik sonucu, iyileştirme bütçesinin nereye gideceğini belirler. Adım sayısını ondan altıya indirmek aksilik oranını yüzde 18'den yüzde 11'e çeker. Tek bir adımın hata payını yüzde 2'den yüzde 1'e düşürmek ise aynı oranı ancak yüzde 17'ye getirir. Tek bir ekranı cilalamak yerine akıştan adım silmek daha çok iş görüyor, üstelik silinen adım test edilmesi gereken bir yüzey olmaktan da çıkıyor.

Kuyruğu silmek, bulguyu silmek

Görev süresi verisi sağa çarpıktır ve aritmetik ortalama birkaç yavaş oturum tarafından kolayca sürüklenir. Bu yüzden özet metrik olarak medyan ya da geometrik ortalama raporlanır, aykırı değerler de gürültü muamelesi görüp budanır. İkinci adım yanlış. Budanan şey tam olarak tasarım kusurunun göründüğü yer.

Yavaş oturumları veri setinden atmam. Özet metriği medyanla kurup iki sürüm arasında karşılaştırmayı onun üzerinden yaparım, kuyruktaki oturumları ise ayrı bir listede tutup tek tek seyrederim. Özet metrik karar vermek için, kuyruk ne düzelteceğini bulmak için. İkisini aynı sayıya sıkıştırmaya çalışmak her ikisini de işe yaramaz hale getirir.

Akışta nereye bakılır

Aykırı oturumları izlediğinizde aynı dört yer tekrar eder:

• Sonuçsuz aramalar. Kullanıcının kelimesi sistemin kelimesi değilse arama kutusu bir çıkmaz sokaktır. Sıfır sonuç döndüren sorguların kaydı, eşanlamlı listesinin ham maddesidir ve toplamak bir satırlık iş.
• Görünür alanın sınırı. Kaydırmadan görünen son nokta, cihaz ve yazı boyutuna göre oynar. Kritik bir eylem bu sınırın hemen altındaysa bazı kullanıcılar onu hiç görmez.
• Katmanların tetiklenme anı. Sorun pop-up'ın varlığından çok zamanlamasıdır. Belirli bir süre sonra açılan bir katman, kullanıcıların bir kısmına kaçınılmaz olarak görevin tam ortasında denk gelir.
• Yanlış adımın maliyeti. Hatalı tıklama geri alınabiliyorsa oturum süresine birkaç saniye yazılır. Alınamıyorsa kullanıcı baştan başlar ve o oturum kuyruğa düşer.

Son madde diğer üçünü de kapsıyor. Kötü şansı akıştan silemezsin, on adımın her birini kusursuz yapamazsın. Tek bir aksiliğin oturumu bitirmesini engelleyebilirsin, ölçtüğün aykırılıkların çoğu da orada kayboluyor.