Tasarım Döngüsünün Dört Aşamasında Anket Kullanmak

Anket, sürecin sonunda yapılan bir memnuniyet ölçümü değil. Döngünün dört aşamasında da işe yarar, ama her aşamada başka bir soru tipiyle. Yanlış aşamada sorulan doğru soru, veri görünümünde gürültü üretir ve o gürültü toplantıda kimsenin itiraz edemediği bir grafiğe dönüşür.

Discover: anket çözüm değil, problem sorar

Keşif aşamasındaki en yaygın hata kullanıcıya ne istediğini sormak. Karşılığında bir özellik listesi gelir, listedeki hiçbir madde gerçek bir probleme bağlanmaz. Burada işe yarayan sorular, kullanıcıyı bugün yaşadığı zorluğu ve onu şu an nasıl çözdüğünü anlatmaya zorlayan sorulardır.

• Üründe tek bir şeyi değiştirebilseniz ne olurdu?
• Ürün bugünkü ihtiyacınızı ne kadar karşılıyor? (1-7)
• Ürünün çözmesini beklediğiniz ama çözmediği bir durumu anlatın.

Aynı aşamanın ikinci ayağı paydaş anketi. Üç soru yeter: bu proje hangi problemi çözmek için başlatıldı, başarılı saymak için elimizde ne olmalı, kapsam dışında ne kalacak. Son soruyu atlayan ekip kapsamı sonradan tartışır, üstelik geliştirme başlamışken tartışır.

Günlük tutma çalışmalarını ankete çevirmek

Diary study, kullanıcının deneyimini birkaç hafta boyunca kendi ağzından toplamanın en ucuz yolu. Yalnız soruların çoğu hatalı kurulur. "Bugün kaç kez X yaptınız?" sorusunu ankete koymam; o sayıyı kullanıcının hafızasından değil olay kaydından alırım, çünkü hafıza sistematik olarak yanlı çalışır ve insanlar sık yaptıkları işi olduğundan az, canlarını sıkan işi olduğundan çok hatırlar. Günlüğe yazdırılacak şey sayı değil, o anın kendisi: ne yapmaya çalışıyordunuz, nerede takıldınız, bunun yerine ne yaptınız.

Explore: rakibin kullanıcısı daha çok konuşur

Kendi kullanıcınız ürüne alışmıştır, eksikleri fark etmeyi bırakmıştır. Rakip müşterisi ise hâlâ kıyaslıyordur. Bu yüzden Explore aşamasında rakip kullanıcılarına yapılan kısa anket, kendi tabanınıza yapılandan daha fazla bilgi taşır: hangi özelliği kullanıyorlar, neyi bulamıyorlar, hangi işi ürünün dışında çözüyorlar.

İstatistiksel persona anketi de bu aşamaya ait. Amacı kişilik profili çıkarmak değil, görüşmelerden çıkan kalitatif personanın gerçek kullanıcı kitlesinde ne kadar yer tuttuğunu ölçmek. Kullanım sıklığı, ilk kullanım nedeni, kullanılan cihaz gibi az sayıda ayırt edici soru yeterlidir. On beş soruluk persona anketi tamamlanma oranını düşürür, elinizde de kimsenin bakmadığı bir çapraz tablo kalır.

Test: tek soruluk ölçüm çoğu zaman yeter

Prototip testinde iki ayrı an vardır ve ikisi karıştırılır. Görevin hemen sonrasında sorulan Single Ease Question (SEQ) tek cümledir: bu görevi yapmak size ne kadar kolay geldi? Yedili ölçek, tek soru, on saniye. Maliyeti sıfıra yakın olduğu için her görevin ardına koyulabilir ve görevler arası karşılaştırma verir.

System Usability Scale (SUS) ise on maddedir ve tüm sistem için tasarlanmıştır. Her görevin arkasına SUS eklemek ölçümü bozar, katılımcıyı yorar, üstelik elde ettiğiniz skorlar birbirine bağımlı hale gelir. SUS oturumun sonunda bir kez uygulanır. Skorun karşılaştırma noktası olarak sıkça 68 kullanılıyor; bu sayı Jeff Sauro'nun yüzlerce çalışmadan derlediği ortalamadan geliyor, evrensel bir eşik değil. Beş kişilik bir testte çıkan SUS'u bu ortalamayla kıyaslamak da anlamlı değil: o örneklemde güven aralığı yirmi puanın üzerinde açılır.

Listen: NPS ortadaki insanları yutar

Yayındaki ürün için en çok kurulan üç ölçüm NPS, CSAT ve CES. Üçü farklı şeyleri ölçer, aynı panoda yan yana durdukları için aynı şeyi ölçüyorlarmış gibi okunurlar.

NPS'in hesabı şu: 9-10 verenlerin yüzdesinden 0-6 verenlerin yüzdesi çıkarılır, 7 ve 8 hiç sayılmaz. Bunun iki sonucu var. Birincisi, herkesin 8 verdiği bir üründe skor 0 çıkar; yarısının 10, yarısının 0 verdiği üründe de 0 çıkar. İki tamamen farklı kullanıcı kitlesi aynı sayıya sıkışır. İkincisi, bir kullanıcının 6'dan 7'ye geçmesi skoru ciddi biçimde oynatırken 0'dan 6'ya çıkması hiçbir şeyi değiştirmez.

Buna bir de iki oranın farkı olmasından gelen oynaklık ekleniyor. Yüz yanıtla ölçülen bir NPS'in yüzde 95 güven aralığı kolayca on beş puanın üzerine çıkar, yani çeyrekten çeyreğe görülen 5 puanlık "iyileşme" büyük ihtimalle gürültüdür. Küçük tabanlı ürünlerde NPS'i trend olarak raporlamak yerine ham dağılımı göstermek daha dürüst bir tablo verir.

CSAT belirli bir etkileşimin hemen ardından sorulduğunda işe yarar: satın alma tamamlandı, destek talebi kapandı, dosya yüklendi. Genel memnuniyet sorusu olarak kullanıldığında kimsenin ne yapacağını bilmediği bir yüzde üretir. CES ise tek bir işin ne kadar zahmetli olduğunu ölçer ve tasarım ekibi için üçünün içinde en doğrudan eyleme çevrilebilen ölçümdür, çünkü "zor" cevabı veren kullanıcının hangi ekranda olduğunu bilirsiniz.

Anketin ölçemediği şey

Dört aşamanın tamamında geçerli olan tek sınır şu: anket davranışı değil, hatırlanan ve beyan edilen davranışı ölçer. Kullanıcının bir ekranda kaç saniye kaldığı, kaç kez geri döndüğü, formu nerede terk ettiği ölçüm kodunun işi. Anket, o kaydın açıklayamadığı yeri doldurur: neden geri döndüğünü, terk ederken ne düşündüğünü. İkisini aynı soruya yükleyen ekipler, ellerindeki iki aracı da köreltir.