Kullanılabilirlik Yılda Ne Kadar İyileşiyor? Bir Oranın Hesabı
Kullanılabilirliğin yılda yüzde birkaç oranında iyileştiği cümlesi sektörde uzun süredir dolaşıyor. Sorun rakamın büyüklüğünde değil, nasıl üretildiğinde ve neyin yanına konduğunda. Tek bir yüzde, arkasındaki ölçüt söylenmeden aktarıldığında kendi ürününüz hakkında hiçbir şey söylemez.
O oran aslında neyin oranı
Bu tür bir sayı tek bir ölçütten çıkar, genellikle görev başarısızlık oranından. Hesabı yapmak kolay: bir üründe başarısızlık on yılda yüzde 40'tan yüzde 22'ye inmişse, yıllık düşüş yaklaşık yüzde 5,8'dir.
Yani "kullanılabilirlik yılda yüzde 6 iyileşiyor" cümlesiyle "başarısızlık on yılda 40'tan 22'ye indi" cümlesi aynı veriyi iki kez söylüyor. Yan yana konduklarında iki ayrı kanıt gibi görünüyorlar, oysa biri diğerinin logaritması. Bir iddianın arkasında kaç bağımsız ölçüm olduğunu saymak, o iddianın ne kadar sağlam durduğunu anlamanın en kısa yolu.
Bir de şu var: hangi görev? Bir formu doldurmak ile bir hesabı kapatmak aynı ölçekte değil. Görev tanımı sabit tutulmadan yıllar arası karşılaştırma yapılamaz, çünkü aradaki on yılda hem görevler hem kullanıcıların alışkanlıkları değişti.
Alanlar arası karşılaştırma neden çöküyor
Bu oranı bebek ölümlerindeki azalmanın ya da genel ekonomik göstergelerin yıllık değişimiyle yan yana koymak yaygın bir alışkanlık. İşe yaramıyor. Üç ayrı ölçüt, üç ayrı payda, üç ayrı tavan. Yüzdeleri aynı sütuna dizmek onları karşılaştırılabilir yapmıyor, sadece öyle görünmesini sağlıyor.
Sabit oranlı iyileşme varsayımının kendisi de tutmuyor. Yıllık yüzde 5,8'lik düşüşü otuz yıla uzatırsanız başarısızlık oranı yüzde 40'tan yüzde 7 civarına iner. Böyle bir yere gelmedik. Çünkü ilk temizlenen hatalar ucuz olanlardır: eksik etiket, görünmeyen buton, yanlış sıralanmış form alanı. Geriye kalanlar süreç, veri modeli ve iş kuralı kaynaklı olanlar, onların maliyeti düz gitmiyor, artıyor.
Sektör ortalaması yerine kendi eğriniz
Genel bir iyileşme oranını takip etmenin size faydası yok, kendi ürününüzün oranını bilmenin var. Bunun için ölçütü baştan tanımlamak gerekiyor: hangi görev, nerede başlıyor, nerede bittiği kabul ediliyor.
İşin zor kısmı burada, arayüzde değil kodda. "Görev tamamlandı" sayılan olayın gerçekten tamamlanmayı temsil etmesi lazım. Bir ödeme akışında başarı olayının sunucu yanıtı dönmeden tetiklendiğini fark etmemiz üç ayımızı almıştı, o üç ay boyunca başarı oranını olduğundan yüksek gördük. Ölçüm hattı yanlışsa iyileşme eğriniz de yanlış çıkar, üstelik hep iyimser yönde yanlış çıkar.
Ölçüt sağlamsa geri kalanı sıkıcı ve işe yarar: aynı görevi aynı tanımla üç ayda bir ölçün, değişiklikleri sürüm notlarıyla eşleştirin, düşüşün hangi değişiklikten sonra geldiğine bakın. Kullanılabilirlik testi bu tabloyu açıklar, yerine geçmez; test size nedenini söyler, sayı size ne kadarını söyler.
Sayıdan geriye ne kalıyor
Sektör genelinde kullanılabilirlik iyileşiyor, bu doğru. Ama "yılda yüzde şu kadar" biçimindeki tek sayı, bir hedef ya da kıyas noktası olarak kullanılamayacak kadar bulanık. Kendi ürününüzde tanımı sabit tek bir görevin başarı oranını iki yıl üst üste ölçerseniz, elinizde o sayıdan çok daha kullanışlı bir şey olur: neyin işe yaradığını gösteren bir eğri.