Rekabetçi Kullanılabilirlik Değerlendirmesini Karara Çevirmek
Rakip karşılaştırması çoğu ekipte özellik listesi çıkarmakla başlar ve orada biter. Ortaya çıkan tablo neyin eksik olduğunu söyler, o eksiğin kullanıcıyı gerçekten yavaşlatıp yavaşlatmadığını söylemez. Değerlendirmenin işe yaraması, karşılaştırmanın hangi soruya cevap vereceğine baştan karar vermeye bağlı.
Önce soru, sonra rakip listesi
"Rakiplerimizi genel olarak değerlendirelim" diye başlayan çalışmalar rapor üretir, karar üretmez. Kapsam ne kadar genişse bulgu sayısı o kadar artar, bulgu sayısı arttıkça hiçbiri önceliklendirilemez.
Karşılaştırmayı tek bir soruya bağlayın. Yeni kullanıcı ilk siparişini kaç adımda veriyor. Filtreleme sonucu değiştiğinde kullanıcı ne gördüğünü anlıyor mu. Hata durumunda kullanıcı geri dönebiliyor mu. Bu ölçekteki bir soru, hem test senaryosunu hem de kimin rakip sayılacağını kendiliğinden belirler.
Rakip, pazar rakibi değil görev rakibidir
Aynı sektörde olmak aynı görevi çözmek anlamına gelmiyor. Bir bankacılık uygulamasında para gönderme akışını değerlendirirken kıyas noktası mutlaka başka bir banka olmak zorunda değil; kullanıcı o akışa dair beklentisini gün içinde kullandığı en akıcı transfer deneyiminden ediniyor. Karşılaştırmaya alınacak ürünü pazar payına göre değil, aynı görevi kimin daha sık çözdürdüğüne göre seçin.
Bu seçim analizin tamamını belirler. Yanlış rakip seti, sonuçta "biz ortalamayız" diyen bir tabloya çıkar ve o tablodan hiçbir tasarım kararı çıkmaz.
Karşılaştırmalı testte sıra sonucu değiştirir
Aynı katılımcıya birden fazla ürün üzerinde aynı görevi yaptırdığınızda, ikinci ürün her zaman daha kolay görünür. Katılımcı görevi ilk üründe öğrenmiştir. Bunu dengelemenin yolu sırayı katılımcılar arasında değiştirmek, ama dengeleme maliyeti hızla büyür: iki ürün için 2, üç ürün için 6, dört ürün için 24 farklı sıra gerekir. Altı kişilik nitel bir çalışmada üç ürünün altı sırasını ancak kişi başı bir sırayla kapatırsınız, yani her sıradan tek gözlem kalır.
Latin kare ile dört ürünü dört sıraya indirebilirsiniz. Bu, tam dengelemenin yerini tutmaz; öğrenme etkisini azaltır, yok etmez.
Karşılaştırmalı teste üçten fazla ürün koymam. Dördüncü ürünün getirdiği bilgi, sıra etkisinin bulanıklaştırdığı üç ürünün bilgisinden daha az.
Uzman incelemesi neyi bulur, neyi bulamaz
Sezgisel değerlendirme, Nielsen'in on kullanılabilirlik ilkesi gibi bir çerçeveye göre ihlalleri listeler. İhlalin varlığı ile kullanıcının ondan zarar görmesi ayrı şeyler. Sistem durumunun görünürlüğü ilkesine aykırı bir ekran, kullanıcı o ekranda saniyeler geçiriyorsa gerçekten sorundur; akışta bir kez görülüp geçiliyorsa rapora giren bir satırdan ibaret kalır.
İki yöntemin sırası bellidir. Sezgisel değerlendirme başta, aday alanı daraltmak için. Kullanıcı testi sonra, daraltılmış alanda hangi farkın gerçek olduğuna karar vermek için. Ters sırada çalışmak, pahalı test saatlerini uzmanın on dakikada bulacağı şeylere harcar.
Rakibin performans verisi zaten açık
Sayfa hızını rakip üzerinde ölçmek için özel bir kurulum gerekmiyor. Chrome kullanıcılarından toplanan saha verisi, alan adı bazında herkese açık; PageSpeed Insights üzerinden rakibin son 28 günlük gerçek kullanıcı ölçümlerini okuyabilirsiniz. Kendi laboratuvar testinizle aldığınız sonuç, iyi bir bağlantıdan tek bir cihazla alınmış tek bir ölçümdür ve rakibin sahadaki dağılımıyla karıştırılmamalı.
Bir noktayı düzeltmek gerekiyor: Core Web Vitals metrikleri arasında sayılan FID (First Input Delay) Mart 2024'te yerini INP'ye (Interaction to Next Paint) bıraktı. Etkileşim gecikmesini karşılaştıran eski şablonlarla çalışıyorsanız ölçtüğünüz metrik artık raporlanmıyor.
Bulgu tek başına karar değil
Karşılaştırmadan çıkan her satırın yanına iki şey yazılmadıkça öncelik listesi oluşmaz: bu farkın kullanıcıya maliyeti ve kapatmanın bize maliyeti. Rakipteki akış üç ekran yerine iki ekransa, o bir ekranı kaldırmak arayüz işi mi yoksa sipariş servisinin iki ayrı çağrıyı tek işleme indirmesi mi? İkisi arasında haftalar var ve bu fark, bulgunun kendisinden daha çok belirleyici.
Karşılaştırma raporunun son hali bir tablo değil, sıralı bir listedir. Sıralamayı yapamıyorsanız çalışma bitmemiştir.