Pilot Test: Asıl Oturumdan Önce Protokolü Kırmak

Pilot oturum, asıl kullanılabilirlik testinden önce yapılan provadır. Test edilen şey ürün değil, testin kendisi: görev metinleri, senaryo sırası, ölçüm formu ve oturum süresi. Ürüne dair bir bulgu çıkarsa bonus sayılır; pilotun asıl işi protokolün nerede kırıldığını göstermek.

Pilotta patlayan şey arayüz değildir

Bir pilot oturumda tipik olarak şunlar olur: katılımcı görevi araştırmacının kastettiğinden başka türlü okur, moderatör farkında olmadan cevabı ima eder, ekran kaydı ikinci monitörü almaz, ölçüm formunda görev başarısını işaretleyecek alan yoktur. Hiçbiri arayüzle ilgili değil. Hepsi asıl testte toplanan veriyi kullanılamaz hale getirir.

Bu yüzden pilotu gerçek oturumun birebir aynısı olarak kurgulayın. Kısaltılmış prova, tam olarak kısalttığınız yerde ne olacağını söylemez.

Ne zaman atlanmaz

Pilot her çalışmada zorunlu değil, ama bazı koşullarda atlanması pahalıya patlar:

• İlk kez kullanılabilirlik testi yürütüyorsanız.
• Uzmanlık alanı test ediliyorsa. Görev metnindeki terimlerin o meslekte gerçekten böyle kullanıldığını ancak o kitleden biri söyleyebilir.
• Test moderatörsüz ya da uzaktan yapılacaksa. Görev metni tek başına ayakta durmak zorunda, katılımcının soracağı kimse yok.
• Nicel bir çalışma planlıyorsanız. Altmış katılımcıya yanlış kurgulanmış bir görev sormak, beş katılımcıya sormaktan on iki kat pahalıdır.
• Tek seferlik bir saha çalışmasıysa ve tekrar şansınız yoksa.

Bunların dışında kalan bir durumda, yani tanıdık bir akışta beş kişiyle yapılan modere nitel testte, pilotu atlayabilirsiniz. İlk katılımcı zaten pilot işlevi görür: sorun çıkarsa protokolü düzeltip devam edersiniz.

Pilot verisi asıl analize karışır mı?

Sık verilen tavsiye şu: pilot iyi geçtiyse orada toplanan veriyi asıl analize dahil edin. Bu tavsiye kendi içinde çelişiyor. Pilottan sonra görev metnini, görev sırasını ya da süreyi değiştirdiyseniz elinizdeki iki oturum farklı protokollere ait ve aynı havuzda toplanamaz. Hiçbir şeyi değiştirmediyseniz veri kullanılabilir, ama o zaman da pilot işini yapmamış demektir.

Pratikte ayrım şurada: yazım hatası düzeltmek ya da ekrandaki yazı boyutunu büyütmek veriyi bozmaz, göreve dokunan her değişiklik bozar. Hangi katılımcının hangi protokol sürümünü gördüğünü kaydedin. Bu tek satırlık not, üç hafta sonra veriyi ayıklarken saatler kazandırır.

Ortam ve süre

Test ortamını canlının kopyası olarak kurun: aynı veri seti, aynı ağ koşulları. Yerelde 40 milisaniyede dönen bir arama sahada 900 milisaniyede dönüyorsa pilotta ölçtüğünüz görev süresi asıl testte tutmaz, üstelik katılımcının sabırsızlandığı anı hiç görmezsiniz. Sahte veriyle dolu bir test ortamı da aynı sorunu yaratır; üç kayıtlık listede kimse arama kutusunu kullanmaz.

Süre ölçümünü ciddiye alın. Altmış dakikalık oturum planladıysanız ve pilot 78 dakika sürdüyse çözüm hızlanmak değil, görev çıkarmaktır. Katılımcıyı acele ettiren moderatör, ölçmek istediği davranışın üstünü örter.

Kimle, kaç kez

Pilot katılımcısının hedef kitleden olması ideal, her zaman mümkün değil. Kurum içinden biriyle çalışacaksanız tek kural var: ürünü daha önce kullanmamış olsun. Ürünü bilen bir meslektaş, görev metnindeki boşluğu kendi bilgisiyle doldurur ve metnin bozuk olduğunu fark edemezsiniz.

Tek pilot çoğu çalışma için yeterli. İkinci tur ancak birincide protokolü baştan yazdıracak kadar büyük bir sorun çıktıysa anlamlı; küçük düzeltmelerden sonra tekrarlanan pilot takvimi yer ve yeni bir şey söylemez. Pilotu takvime ayrı bir satır olarak yazın. Zaman kalırsa yaparız diye bırakılan prova hiç yapılmaz.