Nicel ve Nitel UX Bulguları Çeliştiğinde Ne Yapmalı

Ölçüm yeni tasarımın daha hızlı olduğunu söylüyor, görüşmelerde ise kullanıcılar eskisini istiyor. Bu tablo göründüğü kadar paradoksal değil: iki yöntem çoğu zaman aynı soruyu sormuyor, dolayısıyla cevaplarının uyuşması için bir sebep de yok. Çelişkiyi çözmenin ilk adımı hangi verinin doğru olduğuna karar vermek değil, ikisinin tam olarak neyi ölçtüğünü ayırmak.

Önce ölçülen şeyi ayırın

Görev süresi ve başarı oranı, kullanıcının belirli bir işi ne kadar sürede bitirdiğini gösterir. Memnuniyet sorusu ise kullanıcının o işi bitirirken ne hissettiğini ve genel olarak sistem hakkında ne düşündüğünü gösterir. Bunlar birbirinin yerine geçen ölçüler değil, farklı iki büyüklük. Nesnel olarak hızlanan bir akışın algılanan tarafta gerilemesi, ölçümde bir hata olduğu anlamına gelmez.

Bu ayrımı yaptıktan sonra sıradaki soru şu: iki çalışmada aynı şartlar mı vardı? Pratikte çelişkilerin büyük kısmı burada çözülüyor.

• Katılımcı profilleri aynı mıydı? Nicel testte yeni kullanıcılar, görüşmelerde on yıllık kullanıcılar varsa iki ayrı popülasyona bakıyorsunuz.
• Görev tanımları aynı mıydı? Testte tek bir dar görev ölçülürken görüşmede tüm ürün değerlendiriliyorsa kapsam eşit değil.
• Ortam gerçek kullanıma ne kadar benziyordu? Sessiz bir odada, kesintisiz, tek işe odaklanmış bir kullanıcı, gün içinde on kez bölünen kullanıcının aynısı değil.
• Analize başarısız denemeler dahil edildi mi? Sadece tamamlanan görevlerin süresi alınırsa vazgeçenler tablodan silinir ve ortalama olduğundan iyi çıkar.

Ortalama görev süresi neyi gizler

Yöntemsel bir sorun bulamadığınızda sıradaki şüpheli, sayıların özetlenme biçimi. Görev bazında ortalama almak yaygın ama yanıltıcı bir alışkanlık, çünkü görevlerin günlük tekrar sayısını hesaba katmaz.

Basit bir örnek üzerinden gidelim. Yeni arayüz, günde 50 kez tekrarlanan bir işlemi 2 saniye yavaşlatıyor, buna karşılık haftada bir yapılan bir işlemi 30 saniye hızlandırıyor. Görev bazında bakınca sonuç olumlu görünür: bir yerde 2 saniye kayıp, diğerinde 30 saniye kazanç. Kullanıcının gününe bakınca tersine döner. Kayıp tarafı 50 × 2 = 100 saniye, kazanç tarafı haftaya yayıldığı için günde 6 saniyeye denk gelir. Net sonuç, kullanıcı başına günde yaklaşık bir buçuk dakika kayıp.

Görüşmelerdeki memnuniyetsizlik çoğu zaman tam olarak bunu anlatmaya çalışıyor. Kullanıcı toplamı hissediyor, rapor ise görev ortalamasını gösteriyor.

İşin iyi tarafı, bu ağırlıkları tahmin etmeniz gerekmiyor. Hangi ekranın günde kaç kez açıldığı üründe zaten kayıtlı. Kullanım loglarından çıkaracağınız frekans dağılımını test sonuçlarıyla çarpmak birkaç satırlık iş, ve laboratuvarda toplanan hiçbir veriden daha ucuz.

Direnç açıklamasına erken atlamayın

Kullanıcı yeni ekranda yavaşladığını söylüyorsa bunu ilk elden değişime dirence bağlamam. Direnç açıklamasının sorunu şu: her bulguya uyar. Kullanıcı memnunsa tasarım iyidir, memnun değilse dirençtir. Hiçbir veriyle yanlışlanamayan bir açıklama, araştırmayı bitirir.

Alışkanlık etkisi gerçek ve ölçülebilir bir şey, ama ölçmeden varsayılacak bir şey değil. Ayırt etmenin yolu zamana yaymak: aynı görevleri aynı kullanıcı grubuna birinci gün, birinci hafta ve dördüncü haftada tekrarlayın. Öğrenme eğrisi varsa süre ve memnuniyet birlikte yukarı gider. Dördüncü haftada süre hâlâ eskisinden kötüyse elinizde direnç değil, tasarım problemi vardır.

Karar aşaması

Verinin iki tarafı da elinizde olduğunda yapılabilecekler sınırlı ve nettir.

1. Yeni kullanıcılarla doğrulayın. Ürünü hiç görmemiş katılımcılarda eski tasarımla ilgili bir alışkanlık yok, dolayısıyla aldığınız tepki tasarımın kendisine ait. Ancak bu grubun sınırı da var: uzman akışlarındaki gerilemeyi fark edemezler, çünkü karşılaştıracakları bir geçmişleri yok. Yeni kullanıcı verisi eski kullanıcı verisinin yerine geçmez, yanına konur.
2. Geçişi kademeli yapın. Yeni arayüzü belirli bir süre isteğe bağlı tutmak, hem geçiş oranını hem de geri dönenlerin sayısını size veri olarak verir. Geri dönüş oranı, memnuniyet anketinden daha dürüst bir sinyaldir.
3. Eskide iyi çalışan şeyi tespit edip taşıyın. Görüşmelerde tekrar eden somut şikayetler genelde tek tek özelliklere işaret eder: kaybolan bir kısayol, iki tıka çıkan bir işlem, artık ekranda görünmeyen bir durum bilgisi. Bunlar tasarımın tamamını geri almadan düzeltilebilir.

Nicel ve nitel veriyi eşit ağırlıkta tartıp ortada bir yerde buluşmak diye bir yöntem yok. Yapılacak olan, hangisinin hangi soruya cevap verdiğini bilmek: verimlilik kararlarında ölçüm, benimseme ve terk etme kararlarında görüşme daha güvenilir. Kullanıcının anlattığı şey ölçtüğünüz sayıyla çelişiyorsa, önce ölçümün kapsamını genişletin.