İçerik Testlerinde Katılımcı Seçimi ve Görev Tasarımı
İçerik testi, bir metnin hedef kitlesi tarafından nasıl okunduğunu görmenin en doğrudan yolu. Ama sonucun ne olacağı, odaya kimi çağırdığınla ve ona ne sorduğunla büyük ölçüde baştan belirleniyor. En çok karıştırılan yer de burası: hedef kitleyi temsil eden katılımcı ile metnin zayıf noktasını bulacak katılımcı aynı kişi olmak zorunda değil.
Kimi çağırıyorsun, onunla neyi ölçebilirsin
Yaygın tavsiye şu: hedef kitleni temsil eden kişilerle çalış. Yatırım makalesini yatırım yapan insanlara okut, kurumsal yazılım sayfasını o yazılımı satın alacak kişiye. Mantıklı, çünkü bir metnin işe yarayıp yaramadığı ancak onu gerçekten okuma nedeni olan biriyle anlaşılıyor.
Peki amacın jargonu ayıklamaksa ne olur? O zaman alanı bilen katılımcı en kötü dedektördür. "Teminat tamamlama çağrısı" ifadesi onun gözünde takılmadan geçer; takılacak olan kişiyi, yani konuya yeni gireni, seçme kriteriyle daha baştan odadan çıkarmış olursun. Böylece test sana metnin anlaşıldığını söyler, oysa ölçtüğü şey katılımcının önbilgisidir.
Bu yüzden katılımcı profilini testin sorusu belirler, tersi olmaz. İki ayrı soru, iki ayrı grup:
- Metin ikna ediyor mu, doğru bilgiyi mi veriyor? Alan deneyimi olan katılımcı.
- Metin anlaşılıyor mu, hangi terim duvar oluyor? Konuya yeni giren katılımcı.
Beş kişilik bir oturumda bu ikisini karıştırmak da işe yarıyor, yeter ki kaydı tutarken kimin hangi gruptan olduğunu not edesin. Aynı cümlede uzmanın hiç duraksamayıp acemi katılımcının üç kez geri dönmesi, tek başına bir bulgudur.
Görevi nasıl yazarsın
Klasik "iletişim bilgilerini bul" görevi içeriği test etmiyor, gezinmeyi test ediyor. İçerik testinde görev, bir öğrenme ya da karar ihtiyacına dayanmalı: "Bu hizmetin sana uygun olup olmadığına karar ver" gibi. Katılımcı o kararı verirken hangi paragrafta durur, neyi iki kez okur, hangi soruyla kalkar; asıl veri bunlar.
Görevi katılımcının kendi bağlamına oturtmak ekstra iş ama karşılığı var. Hazır senaryoyu okuyan katılımcı rol yapar, kendi ihtiyacını takip eden katılımcı okur.
Bir de şu var: katılımcı siteden çıkıp alternatif bir kaynağa bakmak isterse engelleme. Nereye gittiği ve orada ne aradığı, senin metninin vermediği şeyin tarifi oluyor. Çoğu testte en işe yarar bulgu, katılımcının sekme değiştirdiği andan geliyor.
Moderasyon dozu
Modere edilen test genelde daha derin içgörü veriyor, bu doğru. Ama bir gerilim de taşıyor: her soru okumayı kesiyor. Katılımcıya "bu kelime sana ne ifade ediyor" diye sorduğun anda, o kelimeyi doğal okuma akışında fark edip etmeyeceğini öğrenme şansını kaybediyorsun.
Pratikte işleyen sıra şu: önce sessizce bir kez baştan sona okutmak, sorular sonra. İlk turda müdahale etmeden izlediklerin zaten çok şey söylüyor; nerede geri kaydırdı, hangi başlığı atladı, hangi paragrafta hızı düştü. Bunlar soru sormadan toplanan veri, dolayısıyla kirlenmemiş veri.
Sessizliğe dayanmak da moderasyonun yarısı. Katılımcı düşünürken boşluğu doldurma isteği güçlü oluyor, ama o boşluk genelde bir sonraki cümlenin anlaşılmadığının işareti.
Soruların işe yarayanları
- Bu bölümü okurken ne düşündün?
- Bir yerde kafan karıştı mı, neresi?
- Bu kelime sana ne ifade ediyor?
- Metnin tonu seni nasıl hissettirdi?
"Okuduğunu kendi kelimelerinle özetler misin" sorusu listede yok, çünkü metin ekranda dururken bu soru anlamayı değil kopyalamayı ölçer. Katılımcı yukarı kaydırıp cümleyi neredeyse olduğu gibi tekrarlar. Sormak istiyorsan sekmeyi kapat, sonra sor; aradaki fark bazen bütün testin en keskin bulgusu oluyor.
Hemen çıkma oranı neyi söylemiyor
İçerik testlerini arama motoru performansına bağlayan yaygın bir akıl yürütme var: anlaşılmayan metin hemen çıkma oranını yükseltir, o da sıralamayı düşürür. İlk kısmı makul. İkinci kısım ise çıkmanın tek bir anlamı olduğunu varsayıyor, oysa aradığı cevabı ilk paragrafta bulup kapatan kullanıcı da çıkmış sayılıyor. O bir başarı, başarısızlık değil.
Yani hemen çıkma oranı bir anlaşılırlık ölçütü değil, en iyi haliyle bir bayrak. Bayrak kalktığında hangi sayfanın ne yüzden terk edildiğini öğrenmenin yolu gene o sayfayı birkaç kişiye okutmaktan geçiyor.
Testten sonra neyi değiştirirsin
Bulguların hepsi eşit ağırlıkta değil. İki ya da daha fazla katılımcının aynı yerde takıldığı bölüm yeniden yazılır. Tek kişinin kafasının karıştığı yer genelde gürültüdür, bir istisnayla: takıldığı şey bir terimse, tek örnek bile yeterli, çünkü terimi bilmeyen herkes orada duracak.
Düzeltmenin büyük bölümü metin düzeyinde kalır, yani uygulama maliyeti neredeyse sıfırdır (arayüz metni şablona ya da koda gömülüyse bu iş birden yazılım işine dönüşüyor, o yüzden test edilecek metinlerin düzenlenebilir yerde durması baştan planlanacak bir şey).
Değişikliği yaptıktan sonra aynı görevi yeni katılımcılarla bir kez daha çalıştırmak gerekiyor. Eski katılımcı metni hatırlıyor, dolayısıyla ikinci turda ölçtüğün şey artık metnin anlaşılırlığı değil.