Aktivite Yanlılığı: Analitikte Korelasyonu Etkiyle Karıştırmak
Grafikte bir sıçrama görünce ilk akla gelen açıklama hep en son yapılan değişiklik oluyor. Oysa kullanıcı aktivitesi düz bir çizgi değil, topaklı: insanlar bazı günler internette saatlerce dolaşır, bazı günler hiç açmaz. Bu topaklanma, aralarında hiçbir nedensel bağ olmayan iki davranışı bile raporda ilişkili gösterir.
Yanlılık nereden geliyor
Aktif bir günde aynı kullanıcı promosyon videosunu izler, arama yapar, sepeti tamamlar. Üçünün de ortak nedeni tek: o gün çevrimiçi olması. Raporda ise video izleme ile satın alma yan yana durur, biri diğerinin sebebi gibi okunur. Aktivite burada klasik bir karıştırıcı değişken, yani her iki ucu birden yukarı iten gizli sebep.
Etkinin gücü baktığınız zaman aralığına da bağlı. Günlük kırılımda topaklanma en sert haliyle görünür, çünkü bir kullanıcının yoğun günü ile ölü günü aynı grafikte iki ayrı nokta olur. Haftalık pencerede aynı kişinin iniş çıkışı kendi içinde ortalanır ve yanlılık zayıflar. Kampanya raporlarını günlük değil haftalık okumanın tek gerekçesi budur, gürültüyü azaltmak değil.
Gösterilen ile gösterilmeyeni karşılaştırma tuzağı
En sık rastlanan kurgu şu: reklamı gören kullanıcılar bir grup, görmeyenler diğer grup, aradaki dönüşüm farkı kampanyanın başarısı. Bu kurgu baştan bozuk. Reklamı görmek için kullanıcının o gün çevrimiçi olması gerekiyordu; görmeyenler grubunun içinde ise hiç girmemiş olanlar da var. Yani iki grubu ayıran birinci fark reklam değil, aktivite.
Bir kampanyanın etkisini gören ile görmeyeni karşılaştırarak raporlamam. Ölçümü kurarken atama gösterimden önce yapılmalı: kullanıcılar rastgele iki kovaya bölünür, kontrol kovasına reklam gösterilmez, sonuç herkes üzerinden hesaplanır. Reklamı hiç görmemiş olanlar da kendi kovasında sayılır. Böyle kurulduğunda aktivite iki kovaya da eşit dağılır ve fark gerçekten reklamdan kalır.
Site içi testlerde atamayı kullanıcıya bağlayın
Aynı sorun A/B testlerinde başka bir kılıkta çıkar. Atamayı ziyaret ya da sayfa görüntüleme başına yaparsanız, haftada on kez gelen kullanıcı testin her iki varyantını da görür ve on ayrı gözlem olarak sayılır; ayda bir gelen kullanıcı ise bir gözlem. Sonuç, sık gelenlerin davranışıyla dolar. Çözüm karmaşık değil: atamayı kullanıcı kimliğine (ya da kalıcı bir çereze) hash'leyip sabitlersin, aynı kullanıcı testin sonuna kadar aynı varyantı görür. Üçüncü parti bir araca ihtiyaç yok, birkaç satır iş.
Metrik tarafında da kişi başına normalize edin. "Toplam tıklama" yerine "tekil kullanıcı başına dönüşüm oranı" bakmak, aktif kullanıcının ağırlığını tek başına kırar.
Raporu okurken
- Beklenmedik bir sıçrama gördüğünüzde önce o günün genel oturum sayısına bakın. Tüm metrikler birlikte yükselmişse elinizde bir kampanya etkisi değil, yoğun bir gün var.
- Kampanya dönemlerini tatil, maç, okul sınavı gibi dışsal olaylarla birlikte işaretleyin. Takvimi olmayan bir grafik her zaman yanlış okunur.
- Sık ziyaretçi ile ilk kez gelenleri ayrı raporlayın. İki segment çoğunlukla ters yönde hareket eder ve toplamda birbirini gizler.
Google Analytics gibi araçlar bu ayrımların hiçbirini kendiliğinden yapmaz; varsayılan raporlar oturum toplar, kişi saymaz. Kurgu sizde bitiyor.