Yapay Zeka Çıktısına Güven: Halüsinasyon ve Doğrulama Maliyeti

Bir dil modeli cevabı doğru olduğu için değil, olası olduğu için üretir. Bu ayrımı kavradığın anda “ne zaman güvenmeliyim” sorusunun cevabı da yer değiştirir. Yaygın tavsiye “kendi uzmanlık alanında kullan” demekle yetiniyor; oysa belirleyici olan, hatayı ne kadar ucuza yakalayabildiğin ve yakalayamadığında sana neye mal olduğu.

Model doğruyu bilmez, olasılığı bilir

Büyük dil modeli metni parça parça kurar. Her adımda o ana kadar yazdığı diziye bakar ve sırada hangi parçanın gelmesinin daha olası olduğunu hesaplar. Eğitim verisinde “Ankara Türkiye’nin” ifadesinden sonra “başkenti” yeterince sık geçtiği için model bunu tutturur. Aynı mekanizma verinin seyrek olduğu yerde de çalışmaya devam eder. Modelin “bilmiyorum” diye ayrı bir çıkışı yok; en olası devamı üretir, o devamın gerçekle ilgisi olmak zorunda değil.

Halüsinasyon bu yüzden bir arıza değil. Doğru cevabı verdiği durumda da sistem tam olarak aynı şeyi yapıyor. Doğru çıktı ile uydurma çıktı modelin içinde iki farklı yoldan gelmiyor, ikisi de aynı olasılık hesabının sonucu. Pratik sonucu şu: metne bakarak hangisiyle karşı karşıya olduğunu anlayamazsın. Ton, kendinden eminlik, cümle yapısı iki durumda da birbirinin aynı.

Kaynak istemek neden doğruluk getirmez

En sık duyulan tavsiye, modelden referans istemek. Kulağa sağlam geliyor, ama bir önceki bölümü aynı metne uygula: referansı da model üretiyor. Yazar adı, yıl, dergi ismi, hatta DOI numarası biçim olarak kusursuz görünecek şekilde kurulabilir, çünkü eğitim verisinde bu kalıpların sayısız örneği var. Uydurma bir kaynakça satırı gerçek olanla aynı kalıptan çıkar.

Yani “kaynak ver” demek doğrulanması gereken şeyin miktarını artırır, güvenilirliği artırmaz. Faydası tek bir koşula bağlı: bağlantıyı açıp içeriğin iddiayı gerçekten desteklediğini görüyorsan. Açmıyorsan kaynakça, metne güven hissi katan bir süsten ibaret.

Eşik uzmanlıkta değil, doğrulama maliyetinde

“Sadece bildiğin konularda kullan” tavsiyesinin içinde sessiz bir çelişki var. Uzmanı olduğun konuda modele en az ihtiyaç duyarsın; ihtiyacın en çok olduğu yerde ise çıktıyı denetleyecek bilgiye sahip değilsin. Kural bu haliyle işin tam ortasını boş bırakıyor.

Daha işleyen bir çerçeve iki soruyla kurulur. Hatayı yakalamak kaça geliyor, yakalanmazsa ne oluyor? Kod, birinci uçta duruyor: tanımadığın bir kütüphanenin fonksiyonunu modele sorduğunda cevap uydurmaysa derleyici ya da test bunu saniyeler içinde söyler, doğrulama maliyeti neredeyse sıfır. Bir metnin içine yerleşmiş oran ise diğer uçta; hata aylar sonra, okuyucunun karşısında ortaya çıkar. Tıbbi ya da hukuki bir iddiada ise yakalanmamış hatanın bedelini konuşmaya bile gerek yok.

Bu çerçevenin kendi sınırı da belli olsun: kodun tehlikeli kısmı çalışmayan kod değil, çalışan ama yanlış hesaplayan koddur. Orada derleyici sessiz kalır, maliyet yeniden yükselir. Yani ucuz doğrulama, otomatik doğrulama demek değil.

AI özelliği tasarlarken

Ürününe model çıktısı koyuyorsan, kullanıcının sorgusuz kabul etmesini önlemenin yolu uyarı metni yazmak değil. “Bu bilgi hatalı olabilir” cümlesi ya da yanına konan bir “doğrula” düğmesi, sorumluluğu kullanıcıya devreder ama çıktının kendinden emin tonunu olduğu gibi bırakır. Kullanıcı ikisi arasında kalırsa emin olana inanır.

Fark yaratan şey sunum biçiminde. Çıktıyı cevap gibi değil taslak gibi göster; kullanıcının bir sonraki hamlesi kabul etmek değil düzenlemek olsun. Modelin neye dayandığını görünür kıl, sonucu doğrudan kaydeden tek bir onay adımından kaçın.

Yapılandırılmış çıktı bekliyorsan dönen veriyi şema kontrolünden geçir: modele JSON istemek geçerli JSON geleceği anlamına gelmiyor. On satırlık bir doğrulama, arayüzün yarısını boş ekrandan kurtarır.