Sohbet Botlarında Güven: Yanıt Akıcı, Kaynak Yok
Sohbet botuna sorulan sorunun cevabı tek bir paragraf olarak geliyor ve o paragraf, kullanıcının güvenilirlik yargısını kurarken kullandığı bütün ipuçlarını siliyor: alan adı, yayın tarihi, yazarın kim olduğu, sayfanın reklamla dolu olup olmadığı. Kullanıcı yine de güveniyor. Sorun tam burada.
Güven yargısı aslında neye dayanıyordu
Arama sonuç sayfasında kullanıcı bir saniyenin altında eleme yapar. Tanıdık alan adı, tarih, başlığın tonu, snippet'in reklam kokup kokmaması. Bunlar bilinçli değerlendirmeler değil, arayüzün bedavaya verdiği sinyaller. Sohbet arayüzünde hiçbiri yok. Geriye tek bir sinyal kalıyor: metnin akıcılığı.
Akıcılık, doğrulukla ilişkisi olmayan bir sinyal. Dil modelinin en iyi yaptığı iş de tam olarak akıcı cümle üretmek. Yani arayüz, kullanıcının elinden bütün ayırt edici ipuçlarını alıp yerine modelin her koşulda yüksek puan aldığı tek bir ipucu koyuyor.
Kullanıcılar güveniyor bulgusunu fazla okumamak
Anketlerde çıkan yüksek güven oranları genelde doğruluğu değil memnuniyeti ölçer. Bir kullanıcı aldığı yanıtı doğrulamadıysa, güveniyorum demesi büyük ölçüde kontrol etme maliyetine girmedim demektir. Bu ikisi aynı şey değil ve tasarım kararı verirken karıştırılınca pahalıya patlıyor.
Yararlılık tarafı gerçek: taslak çıkarmak, unutulan terimi hatırlamak, uzun metni özetlemek gibi işlerde bot sahiden hızlı. Ama hız hesabında sessizce atlanan bir kalem var.
Zaman tasarrufu nereden geliyor
Bot üç ayrı kaynaktan derlediği bilgiyi tek paragrafta veriyor. Kullanıcı bu paragrafı doğrulamak isterse üç kaynağı da bulup açması gerekir, üstelik hangi cümlenin hangisinden geldiğini bilmeden. Yani doğrulama maliyeti, derlenen kaynak sayısıyla birlikte artıyor; okuma maliyeti ise sabit kalıyor.
Buradan çıkan sonuç şu: sohbet arayüzünün vaat ettiği zaman tasarrufu, doğrulamayı atlayan kullanıcı için gerçek. Doğrulayan kullanıcı için arama sonuç sayfasından daha yavaş, çünkü kaynak listesi kendisine verilmiyor, yeniden inşa ettiriliyor. Tasarruf edilen süre, aslında silinen adımın süresi.
Kaynak göstermek bir arayüz kararı
Kaynağı yanıtın altında liste halinde vermeyi değil, iddianın geçtiği cümleye iliştirmeyi tercih ederim. Alttaki liste hangi bilginin nereden geldiğini söylemediği için pratikte tıklanmıyor, dekor gibi duruyor. Cümlenin sonundaki tek bir bağlantı ise kullanıcının şüphelendiği anda şüphelendiği yerde duruyor, ki doğrulama davranışı zaten oradan başlar.
Bunun teknik tarafı sanıldığı kadar ağır değil. Yanıt üretilirken hangi parçanın hangi belgeden geldiği zaten sistemin elinde; onu taşımak bir alan meselesi. Zor olan kısım arayüzde her cümleyi bağlantıyla süsleyip metni okunmaz hale getirmeden bunu yapmak. Bu bir tasarım problemi, model problemi değil.
Bunu nasıl ölçersin
Kullanılabilirlik testinde göreve cevabı bul diye yazarsan hep başarı ölçersin. Görev cümlesini değiştir: cevabın doğru olduğundan emin ol. Ölçülecek şey süre değil, kullanıcının doğrulama girişimi yapıp yapmadığı, yaptıysa nerede vazgeçtiği.
İkinci ölçüm daha rahatsız edici olanı: yanıtın içine kasten hatalı tek bir veri koy, kullanıcının bunu yakalayıp yakalamadığına bak. Akıcı metnin hata gizleme kapasitesi bu testte çıplak görünüyor.
Nerede uygun, nerede değil
Kararı ucuz ve geri alınabilir olan işlerde sohbet arayüzü iyi bir çözüm: taslak, özet, isim önerisi, hatırlatma. Hata bedeli düşük, kullanıcı sonucu zaten gözüyle kontrol ediyor.
Kararın maliyeti geri alınamıyorsa arayüzün görevi cevabı vermek değil, kullanıcıyı kaynağa götürmek. Sağlık, hukuk, mevzuat, fiyat ve tarih bilgisi bu tarafta. Bu iki durumda aynı arayüzü kullanmak, kolaylık değil sorumluluğu kullanıcıya devretmek oluyor; ve kullanıcı devraldığını fark etmiyor, çünkü metin ikisinde de aynı özgüvenle yazılmış.