Diary Study: Zamana Yayılmış Kullanıcı Araştırması

Kullanıcı testinde bir saatlik oturumda gördüğün şey, o bir saatte olan şeydir. Bir uygulamanın üçüncü haftada neden terk edildiğini, alışkanlığın hangi gün kırıldığını laboratuvarda yakalayamazsın. Diary Study tam burayı hedefler: katılımcı kendi ortamında, günler boyunca kendi deneyimini kaydeder. Karşılığında hem katılımcıdan hem araştırmacıdan hatırı sayılır bir zaman ister.

Süreye yayılan ölçüm neyi görünür kılar

Diary Study nitel bir yöntem, ama ayırt edici yanı nitel olması değil. Alan gözlemi de görüşme de tek bir kesit alır; katılımcı o anda hatırladığını anlatır, hatırladığı da genelde son seferki halidir. Günlük kaydında deneyim yaşandığı anda yazılır, araya yorum katmanı girmez.

Peki bu her soru için gerekli mi? Bir formun anlaşılır olup olmadığını öğrenmek için üç haftalık günlük tutturmak israf, beş kişilik bir kullanılabilirlik testi aynı cevabı bir öğleden sonrada verir. Günlük çalışması sorunun içinde zaman geçtiğinde anlam kazanıyor: alışkanlık nasıl kuruluyor, ilgi kaçıncı haftada düşüyor, kullanıcı hangi anda rakibe geçiyor, aynı iş telefonla masaüstü arasında nasıl bölünüyor.

Kayıt biçimi ve içine gizlenmiş yanlılık

• Olay bazlı: katılımcı belirlenen olay gerçekleştiğinde kayıt açar. Her sipariş sonrası bir giriş gibi.
• Zaman aralıklı: günde iki kez ya da haftada bir, sabit aralıklarla toplu giriş.
• Sinyal bazlı: araştırmacıdan veya sistemden gelen bildirimle giriş yapılır.

Sinyal bazlı yaklaşım genelde unutmaya karşı çare diye anlatılır. Doğru, ama bedava değil. Rastgele saatte gelen bildirim, katılımcının o anda yaptığı şeyi kaydettirir; oysa aradığın davranış günde bir kez ve hep aynı saatte oluyorsa örneklemin büyük kısmı konuyla ilgisiz çıkar. Olay bazlı kayıtta ters problem var: katılımcı neyi kaydedeceğine kendisi karar verdiği için sıkıcı bulduğu, sıradanlaşmış kullanımları atlar. Tam da alışkanlığa dönüşmüş davranışı arıyorsan bu ciddi bir kayıp.

Bu yüzden ikisini karıştırmak çoğu çalışmada daha iyi sonuç veriyor: olay bazlı kayıt ana veri kaynağı olur, haftada bir sinyal ise katılımcının atladığı yerleri yakalar.

Katılımcı sayısıyla analiz yükü birlikte büyür

Küçük ölçekli bir çalışma için 5-12 katılımcı sık önerilen aralık, büyük projelerde 30 kişiye kadar çıkıldığı da söylenir. Bu tavsiyenin genelde atladığı yer, veri hacminin iki boyutta birden büyümesi.

12 katılımcıyla, iki hafta boyunca günde iki giriş toplarsan elinde 336 kayıt olur. Her kaydı okuyup temalara kodlamak ortalama üç dakika sürüyorsa, bu yaklaşık 17 saatlik bir analiz demek. Aynı tasarımı 30 katılımcı ve dört haftaya çıkardığında kayıt sayısı 1680'e, analiz süresi 84 saate çıkar. Katılımcıyı 2,5 katına, süreyi 2 katına çıkarmak analizi 5 katına çıkardı; çünkü hacim ikisinin çarpımı.

Pratikte bunun anlamı şu: günlük çalışmasında bütçeyi tüketen kalem katılımcı teşvikleri değil, araştırmacının kendi saatleri. Süreyi uzatmadan önce o saatlerin kimde olduğuna bak. Yoksa toplanmış ama hiç kodlanmamış bir veri yığınıyla kalırsın, ki bu hiç veri toplamamaktan daha kötü bir durum.

Araç seçerken sorulacak tek soru

WhatsApp, Google Forms, özel günlük yazılımları, hepsi kullanılıyor. Seçerken görünüşe değil şuna bak: veriyi tek seferde dışa aktarabiliyor musun. 400 mesajı sohbet ekranından elle kopyalamak bir hafta sonunu yer; aynı veri CSV olarak indiğinde katılımcı ve tarih kırılımına beş dakikada girer. Ekran görüntüsü, ses kaydı ya da duygu etiketi toplayacaksan mesajlaşma uygulaması iyice zorlar, çünkü medya dosyası ile metin kaydı arasındaki bağı elle kurmak zorunda kalırsın.

Katılımcıyı üç hafta ayakta tutmak

Çoğu günlük çalışması 1-4 hafta sürüyor. İlk üç gün sorun çıkmaz, asıl kayıp ikinci haftada başlar. Başlangıç görüşmesinde ne kaydedileceğini örnekle göstermek, kısa bir pilot çalışmayla aracı önceden denemek ve süreç boyunca düzenli hatırlatma göndermek bu düşüşü yavaşlatır.

Teşvik konusunda kademeli yapı tek seferlik ödemeden daha iyi çalışıyor: sonunda verilen tek ödül, üçüncü haftada bırakmayı düşünen katılımcı için uzak bir söz. Haftalık bölünmüş ödeme ise her hafta yeni bir eşik koyar.

Ne zaman değmez

Sorun tek bir ekranda, tek bir oturumda görünüyorsa günlük çalışmasına girme. Ürün henüz düzenli kullanılmıyorsa da değmez, çünkü kaydedilecek deneyim oluşmaz ve eline boş günler dolusu veri geçer. Yöntem, kullanımın zaten var olduğu ve sorunun tekrarda, terk etmede ya da bağlam değişiminde saklandığı durumlarda karşılığını veriyor.