AI Hallucination: Arayüzde Yapay Zeka Sanrısını Yönetmek

Yapay zeka bir bilgiyi uydururken tereddüt etmez; doğru cevapla aynı tonu, aynı kendinden emin cümle yapısını kullanır. Arayüz tarafındaki sorun tam olarak budur, çünkü kullanıcının elinde ayırt edecek bir ipucu kalmaz. Sanrıyı model tarafında sıfırlayamıyorsanız ekranda yönetmek zorundasınız, ve önerilen desenlerin hepsi eşit derecede işe yaramıyor.

Sanrı arıza değil, sistemin olağan çalışması

Dil modeli bir sonraki kelimeyi olasılık dağılımından seçer. İçinde “bunu bilmiyorum” diye işaretlenmiş bir bölge yoktur: var olmayan bir makalenin künyesi, var olan bir makalenin künyesiyle aynı istatistiksel dokuya sahiptir. Bu yüzden “veri kalitesi artarsa sorun biter” beklentisi yarım doğrudur. Kaliteli veri hata oranını düşürür, hatanın biçimini değiştirmez.

Sahte akademik referans üretmesi ya da bir özet aracının mizah forumundaki cevabı ciddi bilgi gibi sunması, sistemin bozulduğu anlar değil. Tasarlandığı işi yaptığı anlar.

Kullanıcı tarafında ne bozuluyor

Doğrulama maliyeti kullanıcıya geçiyor. Bir cevabı kontrol etmek onu baştan aramaktan uzun sürüyorsa, o özellik kullanıcıya zaman kazandırmaz, borç yazar.

“Bu yanıtlar hata içerebilir” satırı üçüncü kullanımda görünmez olur. Genel uyarı etiketleri hukuki tarafı korur, kullanıcıyı korumaz; sorumluluğu devretmekle riski azaltmak aynı şey değil.

Önerilen desenler ve hangisi tutuyor

Belirsizlik dili

“Tam emin değilim ama” ile başlayan cevaplar sık tavsiye edilir. Bunun tek gerçek faydası, modelin ne zaman tereddüt ettiğinin ayırt edilebilmesidir. Her cevaba serpiştirilen aynı ifade bilgi taşımaz, yalnızca tonu yumuşatır. Hedge dilini arkasında gerçekten değişen bir sinyal varsa kullanın.

Güven skoru

“%68 olasılıkla doğru” ibaresi ondalıklı bir hassasiyet vaat eder. Çoğu üründe bu sayı token olasılıklarından türetilir, yani modelin o cümleyi kurma eğilimini ölçer, cümlenin doğru olma ihtimalini değil. Kalibrasyonu kendi verinizle ölçmediyseniz yüzde göstermeyin. Ölçtüyseniz de üç kademe (yüksek, orta, düşük) taşıyabileceğiniz bilgiyi zaten taşır.

Çoklu örnekleme

Aynı soruyu arka planda birkaç kez sorup cevapları karşılaştırmak popüler bir yöntem. Maliyeti doğrudan: k kez soruyorsanız token ve gecikme de k katına çıkar. Ölçtüğü şey doğruluk da değil, modelin kendi dağılımındaki kararlılıktır; eğitim verisinde yaygın bir yanlış varsa beş örneklemin beşi de aynı yanlışta buluşur. Yöntemi tek yönlü kullanın: cevaplar çelişiyorsa uyarı anlamlıdır, çelişmiyorsa hiçbir şey kanıtlanmış olmaz.

Kaynak gösterme

Kullanıcıya kontrol edilebilir bir şey veren tek desen bu, ama üç kontrolü yoksa tersine çalışır: bağlantı sunucu tarafında çözülmeli, cevap vermeyen adres arayüze hiç çıkmamalı, alıntılanan cümlenin kaynak metinde geçtiği doğrulanmalı. Bu üçü yokken kaynak listesi güveni artırır, doğruluğu artırmaz. İkisinin ayrıştığı nokta, kullanıcının en çok zarar gördüğü noktadır.

Kararı hatanın bedeline göre verin

Taslak bir e-posta metnindeki yanlış cümle geri alınabilir; kullanıcı zaten metni okuyup düzenleyecek. İlaç dozunda, hukuki bir sürede ya da para transferinde aynı hata geri alınamaz. Aynı arayüz desenini ikisine birden uygulamak riski değil, yalnızca görünümü standartlaştırır.

Geri alınamaz tarafta üretken model karar veremez, öneri hazırlar; onay insana kalır ve onaylayan kişinin öneriyi denetleyecek bilgisi olmalıdır. O bilgi yoksa onay ekranı da bir tiyatrodan ibarettir.

Ölçmediğiniz sürece bunlar fikir

İki sayı bu tartışmayı somutlaştırır: kullanıcılar modelin çıktısını hangi sıklıkta düzenliyor ya da tamamen atıyor, ve kaynak bağlantılarına hangi sıklıkta tıklıyor. İlki güvenin gerçek düzeyini gösterir. İkincisi, şeffaflık için eklediğiniz bağlantıların okunduğunu ya da hiç okunmadığını. Bu iki sayıyı toplamayan bir ekipte desen seçimi tasarım kararı değil, zevk meselesidir.