Kullanıcı Testlerinde Ekip Davranışı ve Etik Sınırlar
Kullanıcı testinde etik, başta imzalatılan onam formuyla bitmiyor. Asıl sınav odadaki davranışta veriliyor: katılımcı çıkmak istediğinde ne oluyor, arka sırada kim oturuyor, kayıt testten sonra nereye gidiyor. Aşağıdakiler ekip içinde en sık tekrarlanan hatalar ve her biri veriyi ayrı bir yerinden bozuyor.
Şeffaflığın sınırı
Etik rehberlerin çoğu iki şeyi yan yana söyler: katılımcıya dürüst ol, ama sponsor firmayı söyleme. İlk bakışta çelişki gibi duruyor. Peki hangi bilgiyi saklamak yalan sayılıyor?
Ayrım şuradan geçiyor: katılımcının teste girme kararını etkileyen her şey söylenir. Kayıt alınıyor mu, kaç kişi izliyor, veri ne kadar saklanacak, kayda kimler erişecek. Bunlar pazarlık konusu değil. Buna karşılık ürünün hangi markaya ait olduğu, ekibin hangi tasarımı savunduğu, testin hangi hipotezi ölçtüğü söylenmez. Söylenirse katılımcı ölçmek istediğiniz şeyi değil, sizi memnun edecek cevabı üretir. Yani saklanan şey katılımcının hakkı değil, araştırmanın kendisi.
Arka sırada kim oturuyor
Gözlemci sayısı arttıkça test bir sunuma dönüşüyor. Beş kişilik izleyici grubunun fısıltısı, birinin gülmesi, tasarımcının "aslında orada şöyle bir şey var" diye araya girmesi; hepsi katılımcıya aynı soruyu sorduruyor: burada sınanan ben miyim, ekran mı?
Kural basit. Gözlemciler ayrı odada ya da yayında durur, mikrofon kapalıdır, soru varsa testin sonunda araştırmacıya iletilir. Ekibe test öncesi tek cümle yeter: konuşmak yok, not almak var.
İç testlerde ek bir sorun çıkıyor. Katılımcı kendi şirketinizden biriyse ve arkada yöneticisi oturuyorsa, "bu ekran kafa karıştırıcı" cümlesini kurma ihtimali düşüyor. Peki o oturumda ne ölçmüş oluyorsunuz? Arayüzün anlaşılırlığını değil, kişinin ofis içindeki risk iştahını. Yöneticiyi odadan çıkarmak burada nezaket değil, yöntem gereği.
Çıkma hakkı ve ödenmeyen katılımcı
Katılımcı istediği anda testi bırakabilir ve bu cümle oturumun başında açıkça söylenmeli. Veri eksik kalmasın diye "bir görev daha yapalım" demek, o son görevden gelecek veriyi zaten kullanılamaz hale getiriyor; baskı altındaki kişi kendi davranışını değil, beklendiğini düşündüğü davranışı gösteriyor.
Ödeme tarafı daha net. Gelen kişi profile uymuyorsa hata eleme sorularında, yani sizde. Katılımcıyı eli boş göndermek o hatayı düzeltmiyor, üstüne bir de yerine birini bulmanın maliyeti biniyor: yeni çağrı, yeni tarama, kaybedilen bir hafta. Teşvik bedeli bu toplamın küçük parçası.
Test bittikten sonra kayıt nerede duruyor
"Sonuçlar anonim raporlanacak" cümlesi rapor için doğru olabilir, ham veri için çoğu zaman değil. Ekran kaydı katılımcının adıyla ortak sürücüde duruyor, transkript e-postayla dolaşıyor, altı ay sonra dosyanın kimde olduğunu kimse bilmiyor. Onam metninde verilen söz tam burada, kimse fark etmeden bozuluyor.
Saklama süresini ve erişecek kişileri onam metnine yazmayı tercih ederim: kayıt ne kadar durur, kim açabilir, ne zaman silinir. Yazılınca takip edilebilir bir taahhüt oluyor; yazılmayınca iyi niyet olarak kalıyor ve iyi niyetin son kullanma tarihi proje bitişi. Dosya adında isim yerine P1, P2 kullanmak da işin ucuz kısmı. Altı ay sonra yüz yüze görüşme kaydını geri dönüp anonimleştirmeye çalışmak pahalı kısmı.