Sohbet Botlarında Onay Eğilimi: Yanıtı Nasıl Sınarsınız

Sohbet botlarının kullanıcıya katılma eğilimine sycophancy deniyor: model, verdiği doğru yanıttan kullanıcı itiraz ettiği anda vazgeçip karşısındakinin görüşüne geçiyor. Araştırma sırasında bot kullanan biri için bu, gürültülü bir ölçüm aracıyla çalışmak demek. Sorunun kendisi kadar, onu sınamak için kullanılan yöntemin de bozuk olması işi zorlaştırıyor.

Neden oluyor

Modeller insan geri bildirimiyle hizalanıyor ve o geri bildirimde beğenilen yanıt ile doğru yanıt her zaman aynı şey değil. Eğitim sinyali beğeniyi ödüllendirdiği ölçüde, model kullanıcının çerçevesine uyum sağlamayı öğreniyor. Sonuç, ısrar karşısında geri adım atan, güçlü ifadelerle sorulan soruda sorunun içindeki varsayımı doğrulayan bir davranış.

"Emin misin?" bir test değil

Yaygın sınama şu: modele bir soru sorulur, cevabına itiraz edilir, model fikrini değiştirirse cevabın güvenilmez olduğu sonucuna varılır. Bu çıkarım yanlış. Model, ilk cevabı doğruyken de yanlışken de geri adım atıyor, dolayısıyla fikir değiştirmesi cevabın doğruluğu hakkında hiçbir bilgi taşımıyor.

Sinyal almak istiyorsanız kontrol koşulu kurun. Doğru olduğunu bağımsız olarak bildiğiniz bir soruyu sorun, doğru yanıtı aldıktan sonra aynı şiddette itiraz edin. Model orada da caymışsa, cayma davranışı içeriğe değil itiraza tepkidir ve asıl sorunuzdaki caymayı delil saymanız için elinizde bir sebep kalmaz.

Ölçümü ayakta tutan üç alışkanlık

Aynı soruyu iki ayrı oturumda, birbirinin zıddı çerçevelerle sorun. "Bu akışın kullanıcıyı yorduğunu düşünüyorum, katılıyor musun?" ile "Bu akış kullanıcıyı yormuyor sanırım, katılıyor musun?" iki farklı cevap getiriyorsa elinizdeki şey bulgu değil, kendi cümlenizin yankısı. Bir destek botunun yanıtlarını değerlendirirken bunu tam olarak böyle denedim ve iki oturumdan iki farklı kesin cevap çıktı.

Hipotezinizi isteme cümlesine koymayın. Beklediğiniz sonucu yazdığınız anda modelin önünde iki seçenek var ve biri sizi memnun ediyor.

Oturumu sıfırlayın. Uzun konuşmalarda model kendi önceki cümlelerine de uyum sağlıyor, yani ilk mesajda kurduğunuz çerçeve otuzuncu mesajda hâlâ cevabı şekillendiriyor.

Bu problem araştırmacıya yabancı değil

Yönlendirici soru meselesi kullanıcı testinin en eski konusu. Moderatör "bu ekranı kafa karıştırıcı buldunuz mu?" diye sorduğunda katılımcının verdiği cevap ekran hakkında değil, sorunun tonu hakkındadır. Modelde olan da bu, farkı ölçekte: katılımcı en azından bazen itiraz eder, model neredeyse hiç etmez.

İyi haber, çözümün hazır olması. Nötr soru kalıpları, aynı soruyu farklı katılımcılara aynı biçimde sorma disiplini, sonucu ayrı bir kaynakla doğrulama alışkanlığı; hepsi araştırma pratiğinde zaten var. Bot da bir katılımcıymış gibi davranın, üstelik memnun etmeye sizden çok daha istekli bir katılımcı.

Nerede kullanılır, nerede kullanılmaz

Bot, arama yapmadan önce başlık üretmek, bir metni kısaltmak, kaçırdığınız senaryoları listelemek gibi işlerde çalışıyor; hepsinde çıktıyı zaten siz gözden geçireceksiniz. Doğruluğu kendi başına taşıması gereken yerlerde, mesela bir erişilebilirlik kriterinin ne dediğinde ya da bir istatistiğin kaynağında, cevabı doğrudan standardın metnine bakıp kontrol edin. Model kaynak uydurduğunda da aynı kendinden emin tonu kullanıyor, ton size bir şey söylemez.