Hawthorne Etkisi: Kullanıcı Araştırmasında Gözlemin Payını Ölçmek

Katılımcı gözlendiğini bildiğinde daha dikkatli davranır, daha az acele eder, kuralları daha sıkı uygular. Kullanıcı araştırmasında buna Hawthorne etkisi deniyor ve çoğu yöntem anlatımında tek bir uyarı cümlesiyle geçiliyor. Peki etkinin kendisi ne kadar sağlam bir bulgu, hangi çalışma türünde veriyi gerçekten bozuyor?

Fabrikadan kalan hikâyenin sorunu

Ad, 1920'lerde Hawthorne Works fabrikasında yapılan aydınlatma deneylerinden geliyor. Işık arttırıldığında üretim yükselmiş, azaltıldığında da yükselmiş; buradan gözlemin kendisinin bir müdahale olduğu sonucu çıkarılmış. Hikâye bu haliyle çok temiz, biraz fazla temiz. 2011'de Steven Levitt ve John List orijinal kayıtları bulup yeniden analiz ettiğinde, artışların önemli bir kısmının deney evrelerinin hafta başında başlamasıyla ve mevsimsel üretim eğrisiyle açıklanabildiği görüldü. Elimizdeki en ünlü örnek, etkiyi kanıtlamaktan çok ona ad veriyor.

Bu, gözlem farkındalığının yok olduğu anlamına gelmiyor. Anlamı şu: etkinin büyüklüğü sabit bir katsayı değil, çalışma tasarımına göre değişen bir şey. O yüzden her veri anormalliğini ona bağlamak kolay bir kaçış yolu oluyor.

Hangi çalışmada gerçekten sorun

Etkinin şiddeti metoda göre belirgin biçimde farklılaşıyor. Anketlerde, özellikle alışkanlık ve sıklık sorularında sosyal istenirlik en açık haliyle devreye giriyor; kimse günde kaç saat telefonla oynadığını olduğu gibi yazmıyor. Moderasyonlu kullanılabilirlik testinde durum daha karmaşık: katılımcı sesli düşünmek zorunda olduğu için zaten normalden yavaş ve bilinçli davranıyor, gözlem bunun üstüne eklenen ikinci bir katman.

Gözlem farkındalığı söz konusu olduğunda moderasyonsuz uzaktan testi moderasyonlu seanstan daha güvenilir bulurum. Katılımcı kendi odasında, kendi cihazında, kimse boğazını temizlemeden çalışıyor. Bedeli de açık: tıkandığı anda neden tıkandığını soramazsınız, elinizde yalnızca kaydın sessiz hali kalır. Keşif aşamasında moderatör şart; bir akışı doğrulamak için moderasyonsuz koşmak daha dürüst veri veriyor.

Varsayımı ölçüye çevirmek

Hawthorne etkisinden şikâyet eden araştırma raporu çok, etkiyi ölçmeye çalışan rapor az. Oysa ölçmek sanıldığı kadar zahmetli değil: aynı görev setini yarı katılımcıya moderasyonlu, yarısına moderasyonsuz koşturup iki grubu karşılaştırmak yeterli bir başlangıç. Bakılacak şey tamamlama oranı değil, gözlemden etkilenmesi beklenen davranışlar. Yardım isteme sıklığı, görev metnini kaç kez tekrar okuduğu, bir yolu terk edip geri dönme sayısı.

Fark çıkmazsa o çalışmada gözlem bir sorun değil ve bunu bir kez ölçtükten sonra benzer testlerde tartışmayı kapatabilirsiniz. Fark çıkarsa elinizde yönü ve kabaca büyüklüğü belli bir sapma olur, ki bu genel bir uyarı cümlesinden çok daha işe yarar.

Alışma pahalı bir çözüm

Yaygın tavsiye, katılımcıyı tekrarlayan oturumlarla gözleme alıştırmak. Teorik olarak doğru, bütçe tarafında ise ters çalışıyor. Katılımcı başına üç oturum demek, beş kişilik bir çalışmada beş yerine on beş seans demek. Saha süresi sabitse yapacağınız şey, yanlılığı azaltmak için örneklemi üçte bire indirmek olur. Küçük örneklemle çalışırken kullanıcı çeşitliliğinden feragat etmek, gözlem sapmasından kurtulmanın getirdiğinden daha fazlasını kaybettirir. Alışma yöntemini uzun soluklu alan çalışmalarına, haftalar süren günlük çalışmalarına saklamak daha mantıklı.

Tasarıma gömülen küçük şeyler

Seans içinde yapılabilecekler, moderatörün katılımcıyı rahatlatmak için söylediği cümlelerden çok tasarım kararlarıyla ilgili.

• Görevi sözlü vermek yerine yazılı verin; moderatörün tonu görevin bir parçası olmasın.
• İlk görevi ısınma sayıp analize katmayın, en keskin gözlem etkisi orada.
• Onam ve gizlilik metnini kısa tutun. Uzun bir güvence metni, güvence vermek yerine ortamın ne kadar izlendiğini hatırlatıyor.
• Davranışsal veriyi mümkün olan yerde arayüzün kendi olay kaydından alın; orada moderatör yok, ama izinsiz toplanmadığından emin olun.

Katılımcıya performansının değerlendirilmediğini söylemek de bir müdahale. İki kez söylendiğinde ortada bir performans ölçütü olduğu izlenimi doğuyor. Bir kez söyleyip geçin, gerisini görev metninin sadeliği halletsin.