Kullanıcı Testine Çalışan Katmak: Ne Zaman Çalışır, Ne Zaman Yanıltır
Katılımcı bulmak zaman alır, bu yüzden çoğu ekip en yakındaki insanlara, yani kendi çalışanlarına döner. Birkaç durumda bu doğru karardır. Çoğu durumda ise ölçmek istediğiniz şeyi elinizden alır. Ayrımı yapan şey kişinin bordroda olup olmaması değil, ürüne ne kadar uzak durduğudur.
Çalışana dönmenin cazip tarafı
Gerekçeler gerçek. Katılımcı bulma süresi sıfıra iner, kimseye ödeme yapmazsınız, lansman öncesi ekranları şirket dışına çıkarmamış olursunuz. Teste giren çalışan süreci yakından görür, sonrasında ürüne sahip çıkar. Bunların hiçbiri uydurma fayda değil. Sorun şu ki hepsi lojistikle ilgili; hiçbiri testten çıkan verinin kalitesine dokunmuyor.
Testin ölçtüğü şey nasıl bozuluyor
Bir kullanıcı testi tek soruyu ölçer: ekranı ilk kez gören biri, yalnızca arayüze bakarak doğru bir zihinsel model kurabiliyor mu? Kurabiliyorsa tasarım işini yapıyordur. Kuramıyorsa arayüzde eksik bir şey vardır.
Çalışan o modeli çoktan kurmuş halde geliyor. Özelliği toplantıda duydu, sürüm notunda okudu, ekibin ona verdiği iç adı biliyor. Arayüz artık modelin tek kaynağı değil, sadece kaynaklardan biri. Ölçüm dayanağını kaybeder. Testi yaparsınız, elinize bir sonuç geçer, ama o sonuç arayüz hakkında değildir.
İkinci katman dil. "Cari hesap", "mutabakat", "ön kayıt" gibi başlıklar şirket içinde saydamdır, çünkü herkes aynı sözlüğü paylaşır. Müşteri aynı başlığa bakıp durur. Çalışanla yapılan testte bu takılma hiç görünmez, terminoloji sorunu sanki yokmuş gibi kayıtlara geçer.
Üçüncüsü oda. Katılımcı, ekranı tasarlayan kişinin iki masa ötede oturduğunu biliyor. Takıldığı yerde sesini kesiyor, suçu kendine yüklüyor, sert cümleyi yumuşatıyor. Yöneticisi gözlemciler arasındaysa test zaten bitmiştir; kalan kısım bir performans gösterisidir. Katılımcının amiri ve üst yönetim odada olmasın, bu tek kural çalışanla yapılan testin en büyük hatasını kapatır.
Asıl ayrım bordro değil, ürüne uzaklık
Kurum içi uygulamalarda hedef kitle zaten çalışanlardır. İK ekranını muhasebeciyle test etmek yanlı örneklem değil, doğru örneklemdir. Buradaki risk çalışan olmasından gelmiyor; projeyi geliştiren ekipten birini katılımcı sandalyesine oturtmaktan geliyor.
O yüzden soruyu şöyle sorun: bu kişi tasarımı daha önce gördü mü, ekiple konuştu mu, kararların gerekçesini biliyor mu? Cevap hayırsa çalışan olması sorun değil. Cevap evetse dışarıdan biri bile olsa katılımcı listesinde işi yok. Ürünü yakından takip eden bir ajans, danışman ya da uzun süreli iş ortağı da aynı sebeple elenir.
Pilotta iç katılımcı tam yerindedir
Bir de yöntemin kendisini denediğiniz aşama var. Pilot turda ürünü değil, senaryoyu test edersiniz, dolayısıyla katılımcının ürüne aşina olması ölçümü bozmaz. Şunlara bakarsınız:
- Görev metni cevabı sızdırıyor mu? "Sepete ekle düğmesine basın" diyen bir görev hiçbir şey ölçmez.
- Ayrılan süre yetiyor mu, yoksa katılımcı üçüncü görevde mi tükeniyor?
- Kayıt, ekran paylaşımı ve not alma düzeni gerçekten çalışıyor mu?
Bu turda toplanan kullanılabilirlik bulgularını rapora yazmayın, senaryo düzeltmesi olarak kullanın.
Bütçe yoksa iç test hiç yoktan iyi midir
Yaygın tavsiye şudur: şirketinizde kullanıcı testine sıcak bakılmıyorsa, çalışanlarla küçük bir tur yapın, çıkan bulgularla yönetimi ikna edin. Bu tavsiye kendi içinde çelişiyor. Testin güvenilmez olduğunu kabul edip sonucunu ikna aracı olarak kullanamazsınız.
Üstelik ters yönde çalışma ihtimali yüksek. Şirket jargonunu bilen, akışı önceden gören beş kişi görevleri rahatça tamamlar. Elinize temiz bir tablo geçer ve o tablo yönetime "ortada kullanılabilirlik sorunu yok" der. Zayıf test sadece gürültü üretmez, en istemediğiniz yönde kendinden emin bir sonuç üretir ve bütçe talebinizi kendi verinizle gömer.
Beş kullanıcıyla sorunların büyük kısmını yakalayacağınızı söyleyen bilinen kural küçük örneklemi savunurken bir varsayıma yaslanır: o beş kişi hedef kitleden çekilmiştir. Havuz yanlışsa sayıyı büyütmek de kurtarmaz, aynı yanlılığı daha çok kez tekrarlamış olursunuz. Üç gerçek kullanıcı, on çalışandan fazlasını söyler.
Dışarıdan katılımcı seçerken
Katılımcı ölçütünü demografiden değil davranıştan kurun. "25-34 yaş, üniversite mezunu" filtresi elinize rastgele bir grup verir; "son üç ayda telefonundan en az bir ödeme yapmış" filtresi ürününüzün karşılaştığı insanı verir.
İç ve dış katılımcıyı birlikte kullanmanın tek iyi gerekçesi karşılaştırmanın kendisidir. Aynı görevi bir çalışana ve bir müşteriye yaptırıp iki kaydı yan yana izletmek, şüpheci bir yönetim ekibini herhangi bir sunumdan daha hızlı ikna eder. Bunun dışında hibrit kurgu bütçeyi ikiye böler, veriyi iyileştirmez.
Gizlilik kaygısı çoğu zaman hesap yönetimine iner. Katılımcı başına ayrı hesap açmak için araç satın almana gerek yok: staging ortamında beş test hesabını bir seed betiğiyle üretir, tur bitince aynı betikle silersin. Üretim verisini kopyalamak yerine sahte veri üret, çünkü kopyalanan veritabanı bir gün mutlaka birinin gerçek telefon numarasını kayıt alınan ekrana getirir.