Uzaktan Testlerde Sorunlu Katılımcıyı Ayıklamak
Denetimsiz uzaktan testin en pahalı hatası, veriyi topladıktan sonra kimin sayılacağına karar vermek. O noktada elinizde tarafsız bir ölçüt kalmaz, sadece hipotezinize uymayan satırlar durur. Sorunlu katılımcıyı ayıklamak analiz aşamasının değil, kurgu aşamasının işi.
Aykırı değer ile yanlış katılımcı aynı şey değil
Yaygın anlatım üç tip sayar: aykırı değerler, hile yapanlar, profesyonel katılımcılar. Bu sınıflandırmanın ilk maddesi yanlış kurulmuş. Aykırı değer istatistiksel bir tanım, katılımcının dağılımın ucunda durduğunu söyler; yanlış katılımcı ise eleme hatası, kişinin hedef kitlede olmadığını söyler. İkisini aynı kutuya koyduğunuz anda "görevi çok uzun sürede bitiren" herkesi silme hakkı doğar.
Silinenlerin kim olduğuna bakın: ekran okuyucu kullanan, yaşlı, düşük bant genişliğinde çalışan, arayüzü ilk kez gören kullanıcılar. Bunlar aykırı değil, tam olarak testin bulması gereken kullanıcılar. Yavaşlık dışlama gerekçesi değil, bulgunun kendisi.
Gerçekten dışlanacak olan tek grup, hedef profile uymadığı eleme kriterlerinden belliyken teste sızmış kişiler. Onların verisini de sessizce atmayın, kaç kişinin sızdığını raporda yazın; bu sayı eleme sorularınızın ne kadar işe yaramadığını gösteren tek ölçüdür.
Hız tek başına delil değil
Görevi otuz saniyede bitiren katılımcı ya hile yapıyordur ya da arayüzü gerçekten iyi biliyordur. Hızı tek ölçüt alırsanız ürününüzün en akıcı deneyimini yaşayan kişileri veriden silersiniz, geriye zorlanmış kullanıcılar kalır ve arayüz olduğundan kötü görünür.
Hız ancak başka bir sinyalle birleştiğinde anlam taşır. En güvenilir üçlü: kısa süre, başarısız görev sonucu ve boş bırakılmış ya da anlamsız doldurulmuş açık uçlu yanıt. Üçü aynı satırda buluşuyorsa katılımcı görevi denememiştir. Yalnız biri varsa elinizde bir bulgu vardır, atılacak bir satır değil.
Açık uçlu alan bu yüzden testin en ucuz doğrulama aracı. "asdf", "iyiydi", tek kelimelik yanıtlar oturum kaydını izlemeden hile sinyali verir (ayrı bir analiz aracı almaya gerek yok, kayıt platformunun ham olay dökümü bu kontrol için yeter).
Kayıtta neye bakılır
Nitel çalışmada bütün oturumları izlemek zorunda değilsiniz, ama örneklem seçimi rastgele olmalı. Şüphelendiklerinizi izleyip diğerlerini atlarsanız yalnızca kendi önyargınızı doğrularsınız.
İzlerken üç davranış işaretlidir: talimatı okumadan tıklamaya başlamak, görev dışı sekmelerde vakit geçirmek ve konuşurken "kullanılabilirlik", "mental model", "ana menü hiyerarşisi" gibi terimleri rahatça kullanmak. Sonuncusu hile değil, profesyonel katılımcı işareti. Bu kişiler dürüst davranır ama artık ilk kez karşılaşan biri gibi davranamaz, dolayısıyla keşif çalışmalarında verileri işe yaramaz, doğrulama çalışmalarında sorun çıkarmaz.
Dışlama kuralı veriden önce yazılır
Test planına şunu yazın: hangi koşulda hangi veri çıkarılacak, kaç katılımcıya kadar çıkarma yapılabilecek. Örnek bir kural yeterli: "Süre alt sınırın altında ve görev başarısız ve açık uçlu yanıt boş ise o görevin verisi çıkarılır; katılımcının diğer görevleri kalır."
Kısmi dışlamayı tercih edin. Bir katılımcı dört görevin üçünü ciddiye alıp dördüncüsünde savrulmuşsa, o kişinin tamamını silmek üç geçerli gözlemi de çöpe atar. On beş kişilik bir çalışmada üç kişiyi tamamen çıkarmak örneklemin beşte birini götürür, geri kalanla yapacağınız her yüzde hesabı da anlamını yitirir.
Sızıntıyı testten önce kes
Eleme sorusu "UX araştırmasına katıldınız mı" diye sormaz, bunu herkes doğru cevaplamaz. Davranış sorun: son altı ayda hangi tür çevrimiçi çalışmalara katıldığını, ödeme aldığı platformları, kaç kez katıldığını sorun. Bir de sektöre ilişkin, dışarıdan doğru tahmin edilemeyecek tek bir soru koyun.
Katılımcı havuzunu döndürün. Aynı panelden art arda çalışma çıkarsanız üçüncü turda karşınızda ürününüzü sizden iyi tanıyan bir grup olur, verdikleri veri gerçek kullanıcıyı değil kendi öğrenme eğrilerini ölçer.