Formative ve Summative Değerlendirme Arasındaki Fark ve Kullanım Zamanı

Aynı kullanıcı testi oturumu, sorduğunuz soruya göre iki ayrı çalışmaya dönüşür. "Burada ne bozuk?" diye soruyorsanız formative, "bu sürüm öncekinden iyi mi?" diye soruyorsanız summative bir değerlendirme yapıyorsunuz demektir. Ayrım kulağa akademik geliyor ama katılımcı sayısından raporun son cümlesine kadar her şeyi değiştiriyor.

Formative: sorun avı

Formative değerlendirme ürün daha bitmemişken yapılır ve çıktısı bir puan değil, bir liste olur: kullanıcının nerede durakladığı, hangi etiketi yanlış okuduğu, hangi adımı atlamaya çalıştığı. Kâğıt prototiple de yapılır, yarı çalışan bir arayüzle de.

Peki bir gözlem ne zaman "sorun" sayılır? Tek kişide görülen takılma çoğu zaman o kişinin alışkanlığıdır; ikinci kişide tekrar ettiği anda arayüzün meselesi haline gelir. Bu eşiği önceden yazmak, oturum sonrası tartışmayı kısaltıyor.

Summative: savunulacak bir sayı

Summative değerlendirme tasarım kararları alındıktan sonra devreye girer ve amacı iyileştirmek değil, durumu kayda geçirmektir. Görev tamamlama oranı, görev süresi, hata sayısı, memnuniyet ölçekleri. Elinizdeki rakam ya bir önceki sürümle ya rakiple ya da baştan belirlenmiş bir hedefle karşılaştırılmak için vardır; karşılaştıracak bir şey yoksa üretilen sayının tek başına anlamı yok.

Bu yüzden summative çalışma genelde yayın öncesi son kontrolde, büyük bir güncellemenin iki yakasında veya yatırım kararının gerekçesi istendiğinde işe yarar.

"Beş kullanıcı yeter" hangi tarafa ait

Sık alıntılanan beş kullanıcı kuralı formative tarafa aittir ve basit bir olasılık hesabına dayanır: tek bir katılımcının belli bir sorunu yakalama olasılığı L ise, n katılımcıyla o sorunun en az bir kez görülme olasılığı 1-(1-L)^n olur. L için sıkça kullanılan 0,31 değeriyle beş kişi sorunların yaklaşık %84'ünü ortaya çıkarır. Hesabın tamamı Nielsen Norman Group'un yazısında duruyor.

Dikkat edilecek yer şu: bu formül sorun bulma olasılığını verir, bir oranın ne kadar güvenilir ölçüldüğünü değil. Beş kişinin dördü görevi tamamladığında rapora "%80 başarı" yazmak mümkün, ama o %80'in güven aralığı kabaca %38 ile %96 arasına yayılır. Yani aynı veri hem "yarısı beceremiyor" hem "neredeyse herkes hallediyor" yorumunu kaldırır, ki bu da hiçbir karar vermez.

Summative bir sayı istiyorsan katılımcı sayısını yukarı çek, aralığın ne kadar daraldığını her adımda kontrol et; on beş kişiyle bile aralık çoğu üründe tek haneye inmez, dolayısıyla hedefi "dar aralık" değil "kararı değiştirecek kadar dar aralık" diye koy.

Nicel-nitel ayrımıyla karıştırmayın

Formative eşittir nitel, summative eşittir nicel diye bir eşleşme yok. Formative çalışmada da sayı toplanır (kaç kişi nerede takıldı, ilk tıklama nereye gitti), summative çalışmada da açık uçlu yorum alınır. Fark yöntemde değil, amaçta: biri süreci yönlendirmek için, diğeri sonucu belgelemek için yapılır.

Peki ikisi tek oturumda birleştirilebilir mi? Teknik olarak evet, pratikte sonuç genelde kötü. Moderatör takıldığı yerde kullanıcıya ipucu verdiği anda görev süresi ve tamamlama oranı bozulur; müdahale etmezse de elinizdeki en değerli formative bilgi, yani kişinin çıkmazdan nasıl çıkmaya çalıştığı, kaybolur. İkisi birden lazımsa önce ölçümü yapın, ölçüm biten anda aynı katılımcıyla serbest konuşmaya geçin.

Karar sırası

Tasarım hâlâ değişebiliyorsa formative çalışın; sayı üretmek o aşamada sadece zaman kaybı, çünkü ölçtüğünüz şey bir hafta sonra ortada olmayacak. Değişiklik maliyeti yükselmişse, yani ekip artık "düzeltiriz" değil "buna değer mi" diye soruyorsa summative tarafa geçin.

Arada kalınan tek durum yeniden tasarımlar. Orada eski sürümün summative ölçümünü almadan işe başlamak, sonunda "daha iyi oldu" diyebilmenin tek yolunu baştan kapatıyor.