Sentetik Kullanıcılar: Nerede İşe Yarar, Nerede Yanıltır

Sentetik kullanıcı, bir dil modelinin verdiğin demografik tarife göre ürettiği sahte katılımcıdır. Saha araştırmasının pahalı kısmını atlattığı iddiasıyla satılıyor. Atladığı şey pahalı kısım değil, araştırmanın işlevi: modelden dönen cevap, ona yazdığın persona tarifinin uzantısıdır. Yine de tümden işe yaramaz demiyorum; işe yaradığı yer dar ve tarif edilebilir.

Cevap, senin varsayımının uzantısı olarak geliyor

Profili üretmek için sisteme yaş, meslek, hedef, alışkanlık veriyorsun. Model bu tarifi alıyor ve tutarlı bir karakter tamamlıyor. Çıkan metin, senin yazdığın personanın ayrıntılandırılmış hali oluyor. Kullanıcı araştırmasının varlık sebebi ise bunun tersidir: elindeki varsayımı kırabilecek bir şeyle karşılaşmak. Kendi tarifini besleyip cevabını geri okuduğunda o ihtimali daha baştan kapatırsın.

Bunu ölçebilirsin de. Aynı görüşmeyi aynı persona tarifiyle on kez çalıştır, çıktıları yan yana koy. Gerçek bir segmentte on kişi soruya on ayrı yerden girer, ihtiyaç listeleri kısmen çakışır, öncelik sıraları dağılır. Modelde cevaplar birbirine yakınsıyorsa elindeki şey segmentin çeşitliliği değil, modelin o konu hakkındaki ortalama ifadesidir. Yakınsama burada kalite işareti değil, uyarıdır.

Onaylamaya eğilimli bir sistemden fikir testi çıkmaz

Dil modelleri kullanıcıyı memnun etmeye doğru eğitiliyor. Sentetik katılımcıya bir konsept gösterdiğinde büyük ihtimalle beğenecek, iki ölçülü iyileştirme önerisi ekleyecek, sonra yine beğenecek. Hiçbir fikrin elenmediği bir test, test değildir.

Modele "eleştirel ol" demek de bunu çözmez. O zaman da eleştirel bir katılımcı rolü oynar. Her iki durumda ton senin talimatından geliyor, üründen değil. Gerçek kullanıcı araştırmasında en kıymetli an, kimsenin beklemediği bir yerde yaşanan tıkanmadır; sentetik katılımcının üretemeyeceği tek şey de odur.

İşe yaradığı yer: aracın kendisini prova etmek

Sentetik çıktının gerçek faydası katılımcının yerine geçmesinde değil, katılımcıya gitmeden önceki hazırlıkta. Görüşme kılavuzunu modele okut, soruları cevaplatıp kendi metnine geri bak: yönlendirici sorular, iki soruyu birleştiren cümleler, aynı şeyi iki kez soran maddeler on dakikada görünür hale gelir. Bu prova için kimseyi salona çağırmana gerek yok, kimsenin saatini de harcamazsın.

• Anket seçeneklerinin birbirini dışlayıp dışlamadığını sınamak.
• Hiç çalışılmamış bir alanda, gerçek araştırmaya başlamadan önce soru üretmek.
• Alan terminolojisini hızlıca çıkarmak, sonra bunu gerçek katılımcıyla doğrulamak.

Bunların ortak yanı şu: hepsinde doğrulama adımı sonradan geliyor ve çıktı bir bulgu değil, taslak.

Erişilebilirlik ve niş alanlarda hiç kullanma

Ekran okuyucu kullanan birinin deneyimi, yıllar içinde kurulmuş bir pratiktir: kısayol alışkanlıkları, hangi sitede neyi baştan atlayacağını bilmek, bozuk bir etiketin etrafından dolaşma yöntemi. Model bunun kendisini değil, hakkında yazılmış genel cümleleri biliyor. Aynı durum uzman kullanıcılar için de geçerli; radyoloji yazılımı ya da muhasebe ekranı kullanan birinin yıllarla oturmuş iş akışı, o alanda yayımlanmış metinlerden türetilemez. Bu gruplarda sentetik çıktı yalnızca eksik olmaz, kendinden emin biçimde yanlış olur.

Raporda kaynağı ayrı yaz

Bir slaytta "kullanıcılar bu adımı atlıyor" cümlesi varsa ve arkasındaki kaynak bir model çıktısıysa, o cümle yanlıştır. Bulgunun nereden geldiğini yazmak, paydaşın ona ne kadar yaslanacağını belirler. Sentetik veriyle gerçek veriyi aynı tabloda birleştiren bir rapor, birkaç ay sonra kimsenin ayıramayacağı bir karışım bırakır geride ve o karışımın üstüne yol haritası kurulur. Ayrımı en başta koy, sonradan düzeltmesi mümkün olmuyor.