Web Analitiğinde Pareto: 80/20'yi Varsaymadan Önceliklendirme

Pareto ilkesi analitik sunumlarında bir yasa gibi geçer: sonucun yüzde sekseni girdinin yüzde yirmisinden gelir. Oysa 80/20 bir kural değil, bazı dağılımlarda rastlanan bir gözlem. Önceliklendirme aracı olarak işe yarar, ama oranı varsayarak değil, kendi verinizde ölçerek.

Önce dağılımı çıkarın, oranı sonra konuşun

Kendi trafiğinizde sayfaları büyükten küçüğe sıralayıp kümülatif yüzdeyi hesapladığınızda 80/20'ye pek denk gelmezsiniz. Bir haber arşivinde ilk yüzde ikilik dilim trafiğin yarısını taşıyabilir, kurumsal bir sitede ise ilk on sayfa toplamın yüzde doksanını götürür ve geri kalanı okunmuyor sayılabilir. Çıkan eğri hangi şekilde olursa olsun karar aynı yerden gelir: kümülatif katkının dikleştiği yerde durursunuz.

Bu hesabı bir tablo programında birkaç dakikada yaparsınız, ayrı bir panele gerek yok. Sayfa listesini dışa aktarın, oturum sayısına göre sıralayın, kümülatif toplamı yüzdeye çevirin. Zor olan hesap değil, sıralamanın neye göre yapıldığı.

Hacme göre sıralamak yanlış sayfayı seçtirir

Pareto analizinin bilinen tavsiyesi şu: trafiğin çoğunu getiren sayfaları iyileştirin. Bu tavsiye sessizce bir varsayım taşıyor, en çok ziyaret edilen sayfanın aynı zamanda en çok iyileşme payı olan sayfa olduğu varsayımı. Genellikle tersi geçerlidir. Çok trafik alan bir sayfa zaten defalarca elden geçmiştir, dönüşümü yüzde sekizdeyse oradan söküp alacağınız pay dardır.

Önceliği belirleyen şey tek başına hacim değil, hacimle ulaşılabilir iyileşmenin çarpımı. Günde beş yüz oturum alan ve tamamlanma oranı yüzde otuz beşte kalan bir form akışı, günde beş bin oturum alıp yüzde doksan tamamlanan bir sayfadan daha fazla kazanç taşır. İkisini aynı listede karşılaştırabilmek için her satıra bir de tavan tahmini koymak gerekir: bu ekran makul bir düzeltmeyle nereye kadar çıkar?

Tavan tahmini kesin bir sayı değil, kabaca bir aralık. Kesin olmaması sorun değil; hacim sıralamasına göre yine de daha isabetli bir sıra üretir.

Şikâyet sayıları maruz kalmayla ölçeklenir

Aynı hata, geri bildirim analizinde daha sinsi biçimde tekrarlanır. En çok şikâyet alan birkaç özelliği düzeltmek kulağa doğru gelir, ancak ham şikâyet sayısı büyük ölçüde o özelliğin kaç kişiye göründüğünü ölçer. Ayda yüz kez açılan bir ekran, ne kadar bozuk olursa olsun ana sayfa kadar şikâyet toplayamaz. Ham sayıya göre sıraladığınızda genellikle trafik dağılımının bir kopyasını elde edersiniz.

Ham şikâyet sayısına göre sıralamayı, oturum başına şikâyet oranına göre sıralamadan belirgin şekilde daha az güvenilir bulurum. Payda değiştiği anda liste de değişir ve az kullanılan ama gerçekten bozuk olan akışlar ilk kez görünür hale gelir.

Aynı düzeltme kullanıcı testi bulguları için de geçerli. Beş kişinin dördünün takıldığı bir adım, yüz kişiden yirmisinin bildirdiği bir sorundan daha yüksek oranlı bir sinyaldir, sayı olarak küçük görünse bile.

Kuyruğu tümden bırakmanın bedeli

Pareto'nun asıl riski, yüzde seksenlik kuyruğun kalıcı olarak ihmal edilmesi. Erişilebilirlik burada en açık örnek. Ekran okuyucuyla gezen ziyaretçi oranı hiçbir analitik panelinde ilk yüzde yirmiye giremez, dolayısıyla hacme dayalı her önceliklendirme onu sürekli aşağı iter. Oysa klavyeyle gezilemeyen bir form o kullanıcı için sayfanın yavaş açılması değil, sayfanın hiç açılmaması demektir. Kuyruktaki sorunların bir kısmı küçük değil, sadece az sayıda kişide toplam kayıp yaratıyor.

Pratik ayrım şu: hacme göre önceliklendirme iyileştirmeler için işler, engeller için işlemez. Bir şeyi bütünüyle kullanılamaz kılan hatalar kaç kişiyi etkilediğine bakılmaksızın listeye girer, kalan sıralamayı Pareto belirler.

Ölçümün kendisine de aynı şüpheyle bakın

Hız tarafında yaygın alışkanlık, tek bir Lighthouse çıktısına bakıp kararı ona bağlamak. Laboratuvar ölçümü sabit bir makinede tek bir koşudur, alan verisi ise gerçek cihazların dağılımını verir ve ikisi çoğu zaman aynı sayfayı farklı yerlerde gösterir. Öncelik listesi kurarken alan verisinin yüzde yetmiş beşlik dilimine bakmak, tek koşuluk skoru takip etmekten daha sağlam bir sıra üretir.

Sıra kısaca

1. Metriği ve dönemi sabitleyin, karışık dönem karşılaştırması yapmayın.
2. Kategorileri sıralayıp kümülatif katkıyı çıkarın, eğrinin gerçekte nerede kırıldığını görün.
3. Her satıra ulaşılabilir iyileşme tahmini ekleyin, sırayı hacimle bu tahminin çarpımına göre kurun.
4. Geri bildirim ve hata sayılarını maruz kalmaya bölün.
5. Erişilebilirlik engellerini bu sıralamanın dışında, ayrı ve koşulsuz tutun.
6. Uygulamadan sonra ölçümü tekrarlayın, dağılım kaydığında öncelik de kayar.