Reputation Manager: Puan Sistemleri Neyi Gösterir, Neyi Gizler
Bir ürünün altında 4,7 yazıyor. Bu sayı kaç kişiden geliyor, o kişiler kim, aralarında kaçı memnuniyetsiz? İtibar sistemleri bütün bunları tek bir rakama sıkıştırır, arayüz de çoğu zaman sıkıştırma sırasında nelerin düştüğünü söylemez.
Tek sayıya indirgemenin bedeli
Toplu puanın işe yarayan tarafı açık: dağınık deneyimi karşılaştırılabilir hale getirir, iki satıcıyı yan yana koyabilirsin. Kaybedilen şey ise dağılımın kendisi. 3,0 ortalama, herkesin ortadan puan verdiği sakin bir ürünü de anlatır, yarısı 5 yarısı 1 veren bölünmüş bir kitleyi de. Ekranda ikisi aynı görünür, oysa kullanıcının aldığı risk hiç aynı değil.
Bu sistemler için sıkça "tarafsız" denir. Puanı marka değil kullanıcılar veriyor, doğru. Ama örneklem kullanıcılar değil, yorum yazmayı seçen kullanıcılardır. Yazmaya oturan genelde ya çok memnundur ya çok kızgın. Ortadaki sessiz çoğunluk hiç sayılmaz. Çıkan sayı "kullanıcı memnuniyeti" değil, "yorum yazan kullanıcıların memnuniyeti"dir ve bu ikisi arasındaki farkı hiçbir yıldız ikonu kapatmaz.
Ortalama, oy sayısı olmadan okunamaz
On kişiden 5 alan ürün 5,0 görünür, iki bin kişiden 4,6 alan ürün ikinci sırada kalır. Sıralamayı ham ortalamaya bağlarsan listenin tepesi neredeyse her zaman az oy almış ürünlerle dolar.
Tersi de geçerli. On adet 5 puanın arasına bir 1 düştüğünde ortalama 4,64'e iner, kullanıcı bunu fark eder. Aynı 1 puan, iki bin oyla 4,6'ya oturmuş bir üründe virgülden sonra tek hane gösteren arayüzde ekrandaki sayıyı hiç değiştirmez. Yani aynı kötü deneyim, örneklem büyüklüğüne göre ya bütün kararı çeviriyor ya hiç görünmüyor.
Ham ortalamayı sıralama kriteri olarak kullanmam; ürünü değil örneklem küçüklüğünü ödüllendiriyor. Wilson alt sınırı ya da oy sayısını genel ortalamaya doğru çeken Bayes düzeltmesi, az oylu kayıtları otomatik olarak aşağı iter ve iki satır kod farkıdır. Arayüz tarafında karşılığı daha da basit: sayının yanına oy adedini ve puanların dağılımını gösteren çubukları koymak. Amazon'un yıldız kırılımı bunun eski ve hâlâ en okunaklı örneği.
Örnekler eskidi, sorun aynı kaldı
Bu alan hâlâ aynı listeyle anlatılıyor: eBay'in satıcı puanı, Epinions'ın puanlanabilir yorumları, Slashdot'un karma sistemi, Google'ın bağlantıya dayalı sıralaması. Listeyi "bugün popüler uygulamalar" diye sunmak yanıltıcı, çünkü bir kısmı kapandı. Epinions 2014'te yorum almayı bıraktı, portal rehberlerinin siteleri puanladığı model daha da önce dağıldı.
Kapanma sebepleri teknik değildi. eBay bir dönem satıcıların alıcılara olumsuz puan vermesine izin veriyordu; karşılıklı misilleme korkusu puan havuzunun neredeyse tamamını olumluya çevirdi. Herkes olumluysa puanın ayırt edici bir değeri kalmaz. eBay sonunda satıcının alıcıya olumsuz puan verme hakkını kaldırdı ve teslimat, iletişim, açıklamaya uygunluk gibi kalemleri ayrı ayrı puanlatmaya geçti. Google da halka açık PageRank göstergesini 2016'da kaldırdı, çünkü sayı görünür oldukça optimize edilecek bir hedefe dönüşüyordu.
Slashdot'un meta-moderasyonu, yani moderasyon kararlarının başka kullanıcılar tarafından denetlenmesi, sorunu doğrudan hedefleyen ender tasarımlardan biriydi ve tam da bu yüzden ölçeklenmesi zordu.
Sahte yorum arayüzde çözülmez, arayüzde görünür
Sahte yorum ayıklama işi büyük ölçüde arka uçta olur: hesap yaşı, yazım örüntüsü, IP ve cihaz eşleşmeleri. Arayüzün yapabileceği başka bir şey var, kökeni göstermek.
- Doğrulanmış satın alma etiketi. Zayıf bir sinyal değil: yorumun maliyeti olduğunu söylüyor.
- Yorumcunun geçmişi. Tek yorumluk hesapların ağırlığı, düzenli yazan hesaplarla aynı olmamalı.
- Yorumların tarihe yayılımı. Üç günde gelen iki yüz yorum, aynı sayının iki yıla yayılmış halinden bambaşka bir şey anlatır.
Bu sinyalleri kullanıcıya göstermek, filtrelemeyi tek başına yapmaktan daha sağlam sonuç verir, çünkü filtre yanıldığında kullanıcının elinde başka bir dayanak kalır. Görünür kılınan her puanın er ya da geç hedef haline geldiği düşünülürse, sistemin güvenilirliği puanı ne kadar iyi hesapladığına değil, hesabın neye dayandığını ne kadar açık ettiğine bağlı.