Kişiselleştirilmiş Öneriler: Kullanıcı Bunu Nereden Anlıyor?

Bir platform size “Sana Özel” yazan bir raf gösterdiğinde, o rafın arkasında gerçekten bir model olduğunu nereden biliyorsunuz? Çoğu zaman bilmiyorsunuz. Kullanıcıya kişiselleştirmeyi hissettiren şey algoritmanın derinliği değil, üstündeki etiket oluyor ve bu ayrımı atlamak öneri sisteminin başarısını ölçmeyi de imkânsız hale getiriyor.

Kişiselleştirmeyi başlık mı taşıyor, model mi?

Kullanıcılar bir önerinin kendilerine özel olup olmadığını iki şeyden çıkarıyor: üstündeki başlık ve içeriğin ne kadar niş olduğu. Bu ikisi birbirinden bağımsız çalışır. “Sana Özel” yazan bir rafa son haftanın en çok izlenen on içeriğini koyun, kullanıcıların önemli bir kısmı bunu kişiselleştirme sayar. Tersi de doğru: davranış verisinden çıkmış iyi bir öneri, nötr bir başlık altında sıradan bir liste gibi görünür.

Buradan çıkan sonuç konforlu değil. Kişiselleştirmenin kullanıcı tarafındaki algısı, mühendislik tarafındaki kalitesinden ayrı ölçülmek zorunda. Birini diğerinin kanıtı sayarsanız, popülerlik listesine etiket yapıştıran ekiple gerçekten model eğiten ekip aynı raporu üretir.

Soğuk başlangıcın dairesi

Yeni kullanıcının verisi yok, ilk önerileri isabetsiz. Sistem ancak etkileşimle öğreniyor. Ama kullanıcı o etkileşimi, önerilerin baştan işe yaradığını gördüğü ölçüde veriyor. Yeni kullanıcıya ne göstereceğimi genelde kategori bazlı popülerlik ve tek bir açık soruyla çözerim; ilk oturumda model kurmaya uğraşmak yerine iki üç ilgi alanı seçtirmek hem hızlı hem dürüst.

Bu konuda sık rastlanan bir iddia var: kullanıcılar hatalı öneriye toleranslıdır, tek bir yanlış öneri memnuniyeti bozmaz. Doğru, ama iyi haber değil. Toleranslı kullanıcı ilgisiz öneriyi kapatmak ya da “bunu gösterme” demek yerine sessizce geçip gidiyor, sistem de o geçişten neredeyse hiçbir şey öğrenmiyor. Görüntülenip tıklanmamış bir kart beğenilmemiş olabileceği gibi henüz fark edilmemiş de olabilir. Yani “sistem etkileşimle öğrenir” ile “kullanıcı hatayı umursamaz” aynı metinde yan yana durduğunda biri diğerini yiyor.

Mahremiyet pazarlığı neden pazarlık değil

Daha iyi hizmet için biraz veri formülü, kullanıcının karşılığında ne alacağını görebildiği durumlarda işler. Pratikte görmüyor: izin istenirken önüne konan şey bir vaat, teslim edilen şey haftalar sonra belli olan bir isabet oranı. Toplanan veri türleri de aynı değerde değil.

• Arama sorguları: niyeti doğrudan söyler, yorum gerektirmez.
• Tamamlanmış eylemler (satın alma, bitirilen içerik): gürültüsü en az sinyal.
• Favori ve kaydetme: açık ama seyrek, çoğu kullanıcı neredeyse hiç kullanmaz.
• Profil bilgisi (yaş, şehir, cinsiyet): en çok direnç gören, modele en az katkı veren grup.

Çoğu projede bu sıralama tersinden kurgulanıyor. Kayıt formunda beş alan daha istemek kolay göründüğü için isteniyor, sonra o alanlar öneri kalitesine hiç dokunmadan veritabanında bekliyor.

Hata toleransı maliyete bağlı

Yanlış bir dizi önerisinin kullanıcıya maliyeti iki dakika. Yanlış bir fiziksel ürün önerisinin maliyeti kargo, iade formu, bir hafta. Tolerans bu iki durumda aynı olamaz, dolayısıyla “kullanıcılar hataya toleranslıdır” cümlesi ancak önerinin üzerinde tek bir düğme varken geçerli.

Pratik karşılığı şu: maliyeti yüksek önerilerde model güvenini artırmaya çalışmak yerine kullanıcıya filtre ve onay adımı vermek daha iyi çalışıyor. Kullanıcı da bunu zaten biliyor. Abonelik kutusu ya da pahalı bir satın alma söz konusuysa tercih anketini doldurmaya, bedeni ve rengi tek tek seçmeye razı oluyor; aynı kişi müzik uygulamasında bu emeği harcamaz, çünkü yanlış şarkı bir tıkla geçiliyor.

Öneri sistemini tartışırken ilk soru bu yüzden algoritmanın ne kadar iyi olduğu değil, yanlış önerinin kullanıcıya ne ödettiği olmalı. İkincisinin cevabı, birincisine ne kadar yatırım yapılacağını da belirliyor.