Kullanıcı Testine Ayrılan Bütçe Nerede Karşılığını Veriyor

Kullanıcı testi tartışması çoğu projede "yapalım mı" sorusunda takılıp kalıyor. Asıl karar orada değil: hangi aşamada, kaç kişiyle, hangi yöntemle. Bu üçünü doğru kurduğunda test bütçesi, yayın sonrası yazmak zorunda kalmadığın revizyon listesi olarak geri dönüyor.

Testin karşılığı revizyon listesinde görünür

Bir akışı tıklanabilir prototipte değiştirmek kutuları yer değiştirmek demek. Aynı akışı yayına çıkmış üründe değiştirmek yönlendirmeyi, form durumunu, kayıtlı verinin şemasını ve o akışa bağlı testleri birlikte değiştirmek demek. Aradaki fark saat cinsinden ölçülebilir ve her zaman prototip lehine çıkar.

Bu yüzden test bütçesini toplam proje bütçesinin yüzdesi olarak düşünmek yanıltıcı. Daha doğru soru şu: bu kararı yanlış verirsek geri almak kaç gün sürer? Geri alması ucuz olan kararlar, buton rengi ya da mikro metin gibi, test kuyruğunun sonunda durur. Geri alması pahalı olanlar, bilgi mimarisi ya da kayıt akışının adım sayısı gibi, en başta test edilir.

Beş kullanıcı kuralı ve dayandığı formül

"Beş kullanıcı sorunların yüzde seksenini bulur" cümlesi neredeyse aksiyom sayılıyor. Arkasında somut bir model var: bulunan sorun oranı 1 - (1 - L)^n ile hesaplanıyor; n katılımcı sayısı, L ise tek bir katılımcının ortalama olarak keşfettiği sorun yüzdesi. Nielsen Norman Group'un paylaştığı L = 0,31 değeriyle beş katılımcı yaklaşık %85'e denk geliyor.

Formülün sessiz varsayımı şu: bütün katılımcılar aynı kullanıcı grubundan geliyor ve aynı sorunla karşılaşma olasılığına sahip. Ürünün birbirinden ayrı kullanıcı tipleri varsa, mesela ilk kez gelen ile her gün kullanan, beş kişi toplamda değil grup başına gerekiyor. Tek bir beş kişilik seansla iki segmenti birden kapattığını sanmak, kuralın en sık yapılan yanlış uygulaması.

İkinci sınır daha az konuşuluyor. Bu model sorunu bulma olasılığını veriyor, sorunun ne kadar ciddi olduğunu değil. Beş kişide üç kez tekrarlanan küçük bir tereddüt ile tek kişide görülen tam tıkanma, çıktı listesinde yan yana durur. Ciddiyet sıralamasını yine sen yapacaksın.

Hangi test hangi soruyu cevaplıyor

Yöntem seçimi elindeki soruya bağlı, projenin olgunluk seviyesine değil.

• Prototip testi: Akış mantıklı mı, kullanıcı bir sonraki adımı tahmin edebiliyor mu. Tıklanabilir taslak yeter, görsel tasarımı beklemez.
• Moderasyonlu kullanılabilirlik testi: İnsanlar tam olarak nerede duraksıyor. Görev verirsin, sesli düşünmelerini istersin, sen susarsın.
• Ağaç testi ve kart gruplama: Menü yapısı kullanıcının kafasındaki kategorilerle örtüşüyor mu. Arayüz olmadan, sadece etiketlerle çalışır.
• A/B testi: İki somut varyanttan hangisi sayısal olarak daha iyi. Trafik ister.

Son maddenin altını çizmek gerekiyor. %3 olan bir dönüşümü %3,6'ya çıkaran farkı makul bir güvenle yakalamak için varyant başına kabaca on üç bin ziyaretçi gerekir. Günde iki yüz ziyaretçi alan bir sayfada bu, testin aylarca sürmesi anlamına gelir; o süre içinde kampanya takvimi ve trafik kaynağı değişir, ölçtüğün şey artık varyantlar arasındaki fark olmaktan çıkar. Böyle bir sayfada A/B kurma. Beş kişilik moderasyonlu bir seans aynı kararı bir haftada verdirir.

Geri bildirimi bozan şey genelde sorunun kendisi

Katılımcılar yardımcı olmak ister. "Bu tasarımı nasıl buldunuz" diye sorarsan iyi bir şey duyarsın, bu neredeyse garanti. Tasarım hakkında fikir sormak yerine görev ver: "Bu üründen iki adet sipariş edin." Sonra izle. İmleç nerede dolanıyor, hangi ekranda geri dönüyor, hangi etiketi iki kez okuyor.

Ekipten birini katılımcı olarak kullanma. Ürünü tanıyan kişi, tanımayanın tıkandığı yerde tıkanmaz.

Düzenli olan, kapsamlı olandan iyi

Altı ayda bir yapılan geniş kapsamlı bir test, sonuçları masaya geldiğinde ürünün çoktan değişmiş haline bakar. Ayda bir yapılan üç kişilik seans ise kararların alındığı sırada bilgi üretir. Aynı bütçeyi ikiye böldüğünde ikincisi daha çok işe yarıyor, çünkü bir test raporunun değeri bulgu sayısıyla değil, o bulgunun hâlâ değiştirilebilir bir şeyi göstermesiyle ölçülüyor.

Bir seansı kaydet, bulguları ciddiyetine göre sırala, ilk üçünü sprinte al. Geri kalanı listede bekleyebilir.