Uzman Kullanıcı Testleri: Otomatikleşmiş Davranışı Ölçmek

Uzman kullanıcı testi, kullanılabilirlik testinin en çok yanlış kurulan türü. Uzmanı test etmek, yeni kullanıcı testinin zor versiyonu değildir; ölçtüğünüz şey değişir, dolayısıyla yöntemin de değişmesi gerekir. Aksi halde elinizde uzmanın sistem hakkındaki görüşleri kalır, sistemi nasıl kullandığı değil.

Sesli düşünme, ölçmek istediğiniz şeyi bozar

Uzman kullanıcı tanım gereği otomatikleşmiş davranır. Tuş sırasını düşünmeden basar, ekranı okumadan tanır, hatayı fark etmeden düzeltir. Uzmanlığın kendisi budur.

Standart tavsiye burada kendi kendisiyle çelişiyor: aynı metinler hem “uzmanlar otomatik davrandığı için düşündüklerini anlatamaz” der, hem de yöntem olarak sesli düşünmeyi önerir. Katılımcıdan her adımı anlatmasını istediğinizde onu otomatik moddan çıkarıp bilinçli moda geri sokarsınız. Ölçmeye çalıştığınız akışı ölçüm eylemiyle bozmuş olursunuz, üstelik süreler de uzar.

Yapılabilir olan ayırmaktır. Görevi sessiz çalıştırın, süreyi ve adımları kaydedin, konuşmayı görev bittikten sonra kayda bakarak yapın. Katılımcı kendi videosunu izlerken “burada niye durdum” sorusuna, canlı anlatımdan çok daha doğru cevap verir.

Uzman bulmak ile uzman üretmek aynı şey değil

Mevcut bir ürünü yeniden tasarlıyorsanız işiniz kolay: uzmanlarınız zaten var. Kullanıcı veritabanından davet, topluluk üzerinden açık çağrı, kullanıcı grubu toplantıları. Aradığınız kişi ürünü en çok öven değil, en çok kullanan kişidir; bu ikisi çoğu zaman farklı listelerdir.

Ürün yeniyse ortada uzman yoktur ve burada sık yapılan hata, hızlandırılmış eğitimle uzman üretmeye kalkmak. İçeriden birine iki gün eğitim verip uzman yerine koymak iki tarafı da kaybettirir: kişi artık acemi değildir, bu yüzden ilk temas sorunlarını göremez; henüz uzman da değildir, çünkü otomatikleşme aylar sürer. Elinizde her iki soruya da cevap veremeyen bir katılımcı kalır. Ürünün gerçek uzmanları oluşana kadar acemi testiyle devam etmek, sahte uzmanla test etmekten daha dürüst bir yoldur.

Ölçümü kaydeden bir şey olsun

Uzman testinde farkların çoğu saniyeler mertebesinde olur. Yeni kullanıcıda “bulamadı” diye not düşersiniz, uzmanda ise “dört saniye yerine yedi saniye sürdü” gibi bir şey ölçmeniz gerekir ve bunu göz kararı yapamazsınız.

Süre ölçümünü kronometreyle yapmam. İş akışının kritik adımlarına zaman damgası düşüren bir kayıt eklemek bir günlük iş, karşılığında sonraki yüzlerce oturum tartışmasız veri üretiyor. Video kaydı bunun tamamlayıcısı olarak durur, yerine geçmez.

Sözlü tercihle davranış çeliştiğinde davranışı alın. Uzmanlar yeni tasarıma sıklıkla direnç gösterir, çünkü eski arayüzün etrafında kendi kısayollarını kurmuşlardır. “Eskisi daha iyiydi” cümlesi çoğu zaman tasarım hakkında değil, o yatırımın boşa gitmesi hakkındadır.

Kazanç aritmetiği

Uzman tarafında iyileştirmelerin yüzde şu kadar kazanç getireceğine dair yuvarlak sayılar dolaşıyor; kaynağı belirsiz olduğu için bunlara güvenmeyin. Kendi sayınızı çıkarmak zaten daha kolay.

Bir adımı dört saniye kısalttınız diyelim. O adım günde iki yüz kez, elli kişi tarafından çalıştırılıyorsa, kişi başı sekiz yüz saniye, toplamda günde yaklaşık on bir saat eder. Aynı hesabı bir pazarlama sayfasının ziyaretçisi için yaptığınızda sonuç sıfıra yakın çıkar, çünkü orada tekrar yoktur.

Ne zaman yapmaya değer

Buradan net bir ayrım çıkıyor. Uzman kullanıcı testi, aynı ekranın gün boyu tekrar tekrar açıldığı sistemlerde yapılır: çağrı merkezi yazılımı, muhasebe ekranı, depo terminali, yönetim paneli. Bu ürünlerde küçük kazançlar tekrar sayısıyla çarpılır ve gerçek paraya dönüşür.

Nadir kullanılan, her ziyaretçinin bir kez uğradığı arayüzlerde uzman testi zaman kaybıdır. Orada uzman zaten oluşmaz; ölçmeniz gereken şey ilk temas. İkisini aynı test planına sıkıştırmaya çalışmak, iki soruya da yarım cevap verir.