ChatGPT, Bard ve Bing Chat: Arayüz Zenginliği Güveni Nasıl Düşürdü
ChatGPT, Bard ve Bing Chat'i yan yana koyan karşılaştırmaların çoğu özellik sayar. Oysa katılımcıların en çok özelliğe sahip botu en az güvenilir bulması, sayımın yanlış soruyu sorduğunu gösteriyor. Asıl ayrım şurada: bot cevabı kendisi mi kuruyor, yoksa kullanıcıyı cevabı kurmaya mı gönderiyor?
Karşılaştırmanın gerçek ekseni
Üç bot da aynı işi yapıyor görünür: soruyu al, cevabı ver. Yaptıkları iş aslında farklı. ChatGPT metin üretir, dış dünyaya bakmaz, buna karşılık konuşma geçmişini saklar ve kullanıcı ertesi gün kaldığı yerden devam edebilir. Bard canlı web erişimiyle görsel ve bağlantı getirir, ama o dönemde geçmiş kaydı tutmaz. Bing Chat ikisinin yaptığını da yapar, üstüne video, kaynak listesi, önerilen takip soruları ve görsel üretimi ekler.
Özellik listesine bakan biri sıralamayı kolayca tahmin eder. Bir günlük çalışmasında katılımcılar tersini söyledi: yardımcılık ve güvenilirlikte en altta Bing Chat kaldı, en üstte Bard çıktı, ChatGPT ikisinin arasında bir yere oturdu. Bard'ın birinciliği bu sonucun en kırılgan tarafı; canlı web erişimi, güncellik soran her soruda ona bedava avantaj sağlar.
Özellik sayısı sıralamayı açıklamıyor
Sonucu "Bing Chat kötü yapılmış" diye okumak kolay, ama yanlış. Düşük skorun iki sebebi vardı ve ikisi de eklenen özelliklerin kendisiyle ilgiliydi. Birincisi derleme eksikliği: cevap birkaç cümlede kalıyor, gerisi bağlantılara bırakılıyordu. İkincisi arayüzün, cevabı çevreleyen malzemeyle dolması.
Bu ikisi birbirini besler. Derli toplu bir cevap üretemeyen sistem, eksiğini kaynak göstererek kapatmaya çalışır; kullanıcı da soruyu sormadan önceki noktaya, yani sekme sekme okumaya geri döner. Sohbet botunun vaadi tam olarak bundan kurtulmaktı. Özellik eklendikçe iş kullanıcıya geri devrediliyorsa, eklenen şey özellik değil maliyettir.
Bir destek arama arayüzünde cevabın altına kaynak kartları koymuştuk; tıklama oranı yükseldi, aynı soru açılmaya devam etti.
Kaynak göstermek ile kaynağa havale etmek
Bağlantının kendisi sorun değil, yerleşimi belirleyici. İddiadan sonra gelen bağlantı doğrulamadır: okuyucu isterse açar, açmazsa cevap yine ayaktadır. İddianın yerine geçen bağlantı ise ödev listesidir.
Hangisinin ne zaman doğru olduğu da bellidir. Fiyat, tarih, sürüm numarası, mevzuat gibi doğruluğundan bir kaynağın sorumlu olduğu bilgilerde bağlantı cevabın parçasıdır, gizlenmemeli. Genel bir açıklamanın altına altı bağlantı dizmek ise güven vermez, kararsızlık işareti verir.
Mobilde fatura büyüyor
Masaüstünde kaynak paneli cevabın yanında durabilir. Telefonda duramaz. Tek sütunda her görsel kartı, her takip sorusu bloğu, her kaynak şeridi cevabı bir ekran aşağı iter ve kullanıcı okumaya başlamadan önce kaydırmak zorunda kalır. Zengin arayüzün bedelini ödeyen ekran, çoğunluğun kullandığı ekrandır.
Neyi bırakmalı
- Takip soruları cevabı tekrarlamasın, kullanıcının bir sonraki adımını hedeflesin. Üç tane fazladır.
- Kaynaklar cevabın sonunda toplansın, cümlelerin arasına serpilmesin.
- Medya, metnin söylediğini gösteriyorsa kalsın. Süs olarak duruyorsa mobilde ilk kesilecek şey odur.
- Yeni sekme açan her öğe konuşmanın bağlamını kırar; bu bedeli ödeyecek kadar değerli olmalı.
Adlar eskidi, kalıp durdu
Bu karşılaştırmanın yapıldığı ürünlerin ikisi artık o adla yok: Bard, Gemini oldu; Bing Chat, Copilot adıyla yeniden paketlendi. Dolayısıyla yukarıdaki sıralamayı bugünkü ürünlere taşımak yanlış olur, o sıralama 2023'ün arayüzlerine aitti.
Taşınabilir olan şey, sıralamayı üreten mekanizma. Kullanıcı bir sohbet botunu cevabıyla ölçer, arayüzüyle değil; arayüz cevabın önüne geçtiği anda ikisi birden puan kaybeder. Bu yüzden yeni bir özellik eklerken sorulacak soru "faydalı mı" değil, "cevaptan çaldığı yeri hak ediyor mu" olmalı.