Öğrenilebilirlik Nasıl Ölçülür: Eğrinin Eğimi mi, İlk Deneme mi?
Öğrenilebilirlik ölçmek için kurulan testlerin çoğu tek bir sayıyla bitiyor: ortalama görev süresi. Oysa ortada iki ayrı soru var. Kullanıcı sistemi ilk gördüğünde ne kadar zorlanıyor, ve tekrar ettikçe ne kadar hızlı toparlıyor? Bunlar farklı metrikler ve farklı tasarım kararlarına bakıyorlar.
İki farklı sayı, tek isim
Bir öğrenme eğrisinin iki parametresi var: başladığı yükseklik ve düşme hızı. İlk deneme süresi birinciye, ardışık denemeler arasındaki fark ikinciye ait. Bir arayüz ilk kullanımda korkutucu olup üçüncü denemede çok verimli hale gelebilir; bir başkası ilk seferde rahat gelip on kullanım sonra hâlâ aynı yavaşlıkta durabilir.
Peki hangisi daha değerli? Cevap kullanım sıklığında saklı. Yılda bir kez doldurulan bir başvuru formunda ikinci deneme diye bir şey yok, dolayısıyla tek anlamlı sayı ilk denemedir. Günde kırk kez açılan bir çağrı merkezi ekranında ise ilk gün gürültüdür, eğim her şeydir.
Eğri neye benziyor
Deneme başına süre genelde üs yasasına yakın azalır: her tekrar bir öncekinden daha az kazandırır, ama kazanç tam olarak sıfırlanmaz. Bunu görmenin pratik yolu, deneme numarasıyla süreyi log-log eksende çizmek. Üs yasası geçerliyse noktalar kabaca bir doğru üzerine oturur ve doğrunun eğimi doğrudan öğrenme hızını verir.
Grafiği çizmek beş dakikalık iş ve hemen bir şey gösteriyor: doğrudan sapan noktalar. Üçüncü denemede yukarı sıçrayan bir eğri, kullanıcının o denemede başka bir yol denediğini ya da arayüzün beklenmedik bir durum çıkardığını söyler. O oturumun kaydına dönmeye değer.
Doygunluk noktası bir karar, gözlem değil
Eğri asimptotik yaklaşır, hiçbir zaman tam olarak düzleşmez. Yani "dört tekrarda doygunluğa ulaştı" cümlesi, ancak doygunluğu önceden tanımladıysanız bir anlam taşıyor. Ben eşiği testten önce yazarım: ardışık iki denemenin süre farkı %10'un altına indiğinde öğrenme bitmiş sayılır. Sayının %10 olması şart değil, testten önce belirlenmiş olması şart. Sonradan seçilen eşik, istenen sonucu üreten eşik oluyor.
Kaç kişi değil, kaç oturum
Katılımcı sayısı için 30-40 gibi rakamlar dolaşıyor ama öğrenilebilirlik testinde asıl maliyet kalemi bu değil. Her katılımcı görevi k kez tekrarladığı için toplam ölçüm n×k ile büyüyor. 30 kişi ve 5 tekrar, 150 oturum demek; görev başına on dakikadan on saatin üzerinde saf test süresi, planlama ve iptaller hariç.
İyi haber, tekrarlı ölçümde her kullanıcının kendi kontrolü olması. Kişiler arası varyans denklemden çıkınca daha az katılımcıyla anlamlı fark yakalayabiliyorsunuz. Analizde de sıradan ANOVA yerine tekrarlı ölçüm varyantı gerekiyor; aynı kişinin beş ölçümünü bağımsız beş gözlem saymak p değerini olduğundan küçük gösterir.
Görev sırasını karıştırmanın gerekçesi de sanıldığı gibi kullanıcıların birbirinden öğrenmesini engellemek değil. Aynı kullanıcı birden fazla görev yapıyorsa, birinci görevde kaptığı gezinme mantığı ikinciye taşınıyor ve ikinci görevin eğrisi olduğundan iyi çıkıyor. Sıralamayı katılımcılar arasında dengelemek bu taşmayı ortalamada nötrler.
Sayıyı bütçe diline çevirmek
Ölçüm bitince elinizde tasarım tarafına da yönetim tarafına da gösterilebilen bir veri oluyor. Doygunluktaki süre ile bugünkü süre arasındaki fark, kullanım sıklığı ve kullanıcı sayısıyla çarpılınca yıllık saate dönüşüyor. Günde 200 kez yapılan bir görevde 12 saniyelik kısalma, 250 iş günü üzerinden yılda 160 saatin üzerinde bir kazanç demek.
Bu hesabın zayıf yerini de söylemek gerekiyor: kazanılan saniyeler dağınık geliyor, kimse günde on dakika fazladan iş çıkarmıyor. Karşılığı asıl eğitim ve destek tarafında görünür. Eğimi dik olan bir arayüz, yeni çalışanın ilk hafta soracağı soru sayısını düşürür ve bu, destek biletlerinde ölçülebilir bir şey.