Campbell Yasası ve “Güvenilir Metrik” Yanılgısı
Campbell Yasası tek cümleyle özetlenebilir: bir ölçüt kararlarda ne kadar merkezi hale gelirse o kadar çok manipüle edilir. Asıl sıkıntı, bu yasayı kabul edip hemen ardından “şu metrikler güvenilirdir” listesi yapmakta. Manipülasyona dayanıklı metrik yok, ölçütün hedefe dönüşme hızını yavaşlatan kurulumlar var.
İki yasa, tek mekanizma
Campbell'ın gözlemi sosyal göstergeler üzerineydi: bir ölçüt karar süreçlerinde ne kadar çok kullanılırsa hem o kadar bozulmaya açık hale gelir hem de ölçmesi beklenen süreci o kadar bozar. Goodhart aynı şeyi ekonomi tarafından söyler, bir ölçüt hedefe dönüştüğü anda iyi bir ölçüt olmaktan çıkar. İkisi de yasa diye anılıyor ama fizik yasası değil, tekrar tekrar doğrulanmış birer eğilim. Ayrım işimize yarıyor: kaçınılmaz bir kader değil, yavaşlatılabilir bir süreç.
“Güvenilir metrik” listeleri neden dayanmıyor
Bu listelerin başında neredeyse her zaman NPS durur. Oysa NPS, gündelik hayatta oynandığını en sık gördüğümüz metrik. Servise bıraktığınız arabayı teslim alırken “anket gelirse lütfen 10 verin, 9 bizim için sıfır sayılıyor” cümlesini duymuşsunuzdur. Puanlı platformlarda sürücünün ya da ev sahibinin yolculuk bitmeden puanı hatırlatması da aynı mekanizma, sadece daha kibar hali.
Aritmetik de kolaylaştırıyor. NPS, tavsiye edenlerin yüzdesinden köstekleyenlerin yüzdesi çıkarılarak bulunur. Elli yanıtlık bir örneklemde tek bir kişiyi 6'dan 7'ye taşımak skoru iki puan, 6'dan 9'a taşımak dört puan yükseltir. Üründe hiçbir şey değişmeden. Küçük örneklemlerde skoru oynatmanın en ucuz yolu ürünü iyileştirmek değil, iki müşteriyle iyi konuşmak.
Görev tamamlama oranı ve müşteri yaşam boyu değeri daha zor oynanır ama dokunulmaz değildir. Görev tanımını daraltırsan tamamlama oranı yükselir, CLTV hesabındaki iskonto oranını değiştirirsen tablo başka bir hikaye anlatır.
Çoklu metrik tek başına panzehir değil
Standart tavsiye, tek göstergeye bakmayıp birkaçını birlikte izlemek. Doğru ama eksik. Beş metrik izleyip primi bunlardan birine bağladığınızda gerçek hedef yine tektir, kalan dördü rapor süsüdür.
İşe yarayan şey çokluk değil, karşı ağırlık. Dönüşüm oranının yanına iade oranı, oturum süresinin yanına görev tamamlama, iptal sayısının yanına iptal etmeye çalışıp vazgeçenlerin destek kaydı. Ölçüt çiftlerini öyle seçin ki biri kısayoldan yükseltildiğinde diğeri bozulsun. Bozulmuyorsa o çift birbirinin kopyasıdır.
Ölçüm çoğu zaman kötü niyetten değil, koddan bozulur
Panodaki sayının hangi satırdan çıktığını sormak gerekir. “Sipariş tamamlandı” olayını butona tıklandığı anda tetikleyen bir kurulumda başarı oranı, ödeme sağlayıcı isteği reddettiğinde bile artar. Formu gönderip doğrulama hatası alan kullanıcı da birçok kurulumda dönüşüm sayılır. Kimsenin hile yapmadığı, olayın yanlış yere yerleştirildiği durumlar bunlar ve tabloyu tıpkı bilinçli manipülasyon kadar bozuyorlar.
Bir ekranın işe yarayıp yaramadığını genelde görev tamamlama oranıyla ölçerim, yanına da tamamlayamayanların nerede takıldığını gösteren bir kayıt koyarım. Tek sayı neyin olduğunu söylüyor, ikinci kayıt nedenini.
Metrik seçerken sorulacaklar
Üç soru çoğu tartışmayı kısaltıyor: bu sayı yükseldiğinde kim ne kazanır, yükseltmenin en ucuz yolu nedir, o ucuz yol kullanıcıya ne yapar. Üçüncü sorunun cevabı rahatsız ediciyse metrik zaten bozulmuştur, henüz kimse fark etmemiştir. İptal akışını bilerek zorlaştırmak iptal sayısını gerçekten düşürür, ders kitabına girecek örnek de budur.
Bir de süre kısıtı koyun. Bir gösterge ne kadar uzun süre aynı kalırsa, ona göre optimize etmeyi öğrenmiş bir organizasyon o kadar yerleşir. Altı ayda bir hangi sayının son dönemde gerçekten bir kararı değiştirdiğine bakıp değiştirmeyenleri panodan çıkarmak, panoya yeni metrik eklemekten daha çok iş görür.