Gözetimsiz Kullanıcı Testi Nerede İşe Yarar, Nerede Yanıltır

Gözetimsiz kullanıcı testinin satış cümlesi hep aynı: hızlı, ucuz, geniş ölçekli. Doğru tarafı var, ama tasarruf sandığınız yerde değil. Sahada kazandığınız zamanı görev metnini yazarken ve kayıtları izlerken geri ödüyorsunuz, üstelik faiziyle. Yöntemin gerçekten çalıştığı alan dar ve belirli; o sınırın nereden geçtiğini bilmek testi kurtarır.

Tasarruf sahada kalır, analize geçmez

Veri toplama paralel çalışır. Kırk kişi aynı akşam oturumunu tamamlayabilir, bunun moderatörlü karşılığı haftalar sürer. Sorun analizde başlıyor: izleme süresi katılımcı sayısıyla doğrusal büyür. Ortalama on dakikalık oturumdan kırk tane toplarsanız altı buçuk saatten fazla ham video birikir ve bunu hızlandıracak bir numara yok. Moderatörlü testte bulgunun yarısını oturum sırasında zaten çıkarmış olursunuz; burada o iş ertesi güne kalır.

Bu yüzden katılımcı sayısını, cevabını aradığınız sorunun cinsine göre seçin. Nitel bir soru soruyorsanız, yani insanların neden takıldığını anlamak istiyorsanız, sekiz on kişiden sonra gelen kayıtlar yeni bir şey söylemiyor, sadece izleme yükünü artırıyor. Sayılabilir bir şey ölçüyorsanız, görev başarı oranı ya da iki akış arasındaki tercih gibi, yüksek katılımcı sayısı anlamlı. Karışık kurgulardan, hem nitel hem nicel her şeyi tek testten çıkarma hevesinden uzak durun.

Görev metni moderatörün yerine geçer

Moderatörlü testte katılımcı yanlış anladığında araştırmacı araya girer. Gözetimsiz testte böyle bir emniyet kemeri yok; yanlış okunan tek bir cümle o katılımcının verisini çöpe atar. Görev tanımı testin en kritik parçası haline gelir ve çoğu ekip bu metne, yazılım seçmeye ayırdığı zamanın çeyreğini bile ayırmaz.

İki hatadan biri sürekli tekrarlanıyor. Birincisi ipucu vermek: "Sağ üstteki sepet ikonuna tıklayarak ürünü ekleyin" cümlesi, tam da ölçmek istediğiniz şeyi, yani ikonun bulunabilirliğini, katılımcıya hediye eder. İkincisi bitişi belirsiz bırakmak. Katılımcı görevi tamamladığını nereden anlayacak? Bunu yazmazsanız kimi kişi üç dakikada durur, kimi on dakika dolaşır, süre verisi kullanılamaz hale gelir.

Pilot testi bu yüzden atlamayın, ama ekip içinden biriyle yapmayın. Ürünü daha önce görmemiş tek bir kişi, görev metnindeki muğlaklığı kırk kişilik panelden önce ortaya çıkarır.

Süreyi platformun sayacına bırakma

Test platformlarının süre ölçümü genellikle görev ekranının açılmasıyla "bitirdim" düğmesine basılması arasını sayar. Arada katılımcının görevi okuması, telefona bakması, sekme değiştirmesi de vardır. Bu veriyle iki tasarım alternatifini kıyaslamaya kalkarsanız gürültüyü sinyal sanırsınız.

Ürün senin kontrolündeyse ölçümü de kendi tarafına al. Akışın kritik adımlarına birkaç satırlık olay kaydı koy, oturum kimliğiyle eşle; sepete ekleme ile ödeme ekranı arasındaki gerçek süreyi platformun sayacından çok daha temiz alırsın. Yarım günlük bir iş, üstelik test bittikten sonra da yerinde kalır.

Panel katılımcısı kimdir

Panel, doğru demografiye saatler içinde ulaşmanın en pratik yolu. Karşılığında şunu kabul edersiniz: o havuzdaki insanların çoğu daha önce onlarca test yapmış. Sesli düşünmeyi öğrenmişler, arayüzü kullanmak yerine keşfetme eğilimindeler, açık uçlu sorulara alışkın oldukları için düzgün cümleler kurarlar. Gerçek kullanıcınızın aceleci, dikkati dağınık halinden uzak bir profil.

Genel tüketici ürünlerinde bu sapmayla yaşanabilir. Alan bilgisi gerektiren işlerde, muhasebe yazılımı, sağlık paneli, B2B sipariş ekranı gibi yerlerde yaşanmaz. Katılımcı işin kendisini bilmiyorsa aldığınız veri arayüzü değil, o kişinin konuyu öğrenme hızını ölçer. Bu durumlarda kendi kullanıcı listenizden beş kişiyle yapılan test, panelden gelen elli kişiden daha fazla şey söyler.

Moderatöre ne zaman dönmeli

Basit kural: teste bakarken "bunu neden böyle yaptı" sorusunu ikiden fazla soracağınızı tahmin ediyorsanız, yöntem yanlış. Gözetimsiz test ne olduğunu iyi gösterir, nedenini göstermez. Kaydı izlerken kafanızdaki soruyu sorabileceğiniz kimse yoktur.

Erken prototipler, çok adımlı karar gerektiren akışlar, fiyatlandırma ya da güven algısı gibi duygusal tepkinin belirleyici olduğu konular moderatörlü kalsın. Yerleşmiş bir akışta belirli bir şüpheyi doğrulamak, iki alternatif arasında tercih ölçmek, bir metnin anlaşılıp anlaşılmadığını görmek istiyorsanız gözetimsiz test hem yeterli hem hızlı. Yöntemi ürünün olgunluğuna göre değil, sorunuzun "ne" mi yoksa "neden" mi olduğuna göre seçin.