UX Araştırmasında Yapay Zekayı Nereye Koymalı
Yapay zekanın araştırma akışındaki yeri genelde "ne kadar iyi özetliyor" sorusu üzerinden tartışılıyor. Yanlış soru. Doğru soru şu: çıktıyı doğrulamak, onu baştan üretmekten ucuz mu? Cevap görevden göreve değişiyor ve sentez tarafında ucuz çıkmıyor.
Tek ölçüt: doğrulama maliyeti
Bir görevi modele devretmenin kazanç sayılabilmesi için, çıktının doğru olduğunu anlamanın o çıktıyı elle üretmekten ucuz olması gerekir. Ölçüt bu kadar basit. Sonuçları ise sezginin tersine çıkıyor.
Transkripti düşünün. Model bir saatlik görüşmeyi yazıya döker, siz birkaç noktada kaydı açıp metinle karşılaştırırsınız. Hatalar kelime düzeyindedir ve göze çarpar. Doğrulama, işi yapmanın yanında neredeyse bedava. Bu görev ölçütü geçer.
Şimdi kırk görüşmenin tematik sentezini isteyin. Modelin neyi atladığını anlamanın tek yolu kırk görüşmeyi okumaktır. Doğrulama işin kendisiyle aynı maliyete çıkar, yani kazanç sıfırdır. Okumadan onaylarsanız kazanç negatife döner, çünkü yanlış bir sentezin üzerine karar kurarsınız.
Ölçütü geçen görevler
- Transkript ve çeviri: hata kelime düzeyinde kalır, örneklemeyle yakalanır.
- Korpus içinde arama: "iptal" ya da "fatura" geçen yerleri getirir, siz kaynağa gidip okursunuz. Çıktı iddiada bulunmaz, işaret eder.
- İlk tur etiketleme: kod çerçevesini siz kurarsınız, model uygular, siz uyuşmazlıklara bakarsınız.
- Not temizliği ve biçimlendirme: içeriğe dokunmaz.
Ortak noktaları şu: hepsinde çıktı tek tek kaynağına geri bağlanabiliyor. Bu bağ koptuğu anda doğrulama maliyeti patlıyor.
Sentez neden parçalara bölünerek çözülmüyor
Yaygın tavsiye, görevi küçük ve doğrulanabilir adımlara bölmektir. Tavsiye doğru, ama sentezde işlemiyor ve nedeni çoğu metinde atlanıyor.
Kırk görüşmeyi tek tek özetletirseniz kırk temiz özet elde edersiniz. Araştırmanın değerli kısmı o özetlerin içinde değildir. Değerli kısım, on ikinci katılımcının dile getirdiği şikâyetle otuz birincinin sessizce geliştirdiği çözümün aynı sorunun iki yüzü olduğunu görmektir. Bu görüş tanımı gereği görüşmelerin arasında durur, parçalara bölündüğünde ortadan kalkar.
Bölme stratejisi böylece tam da bölünemeyen işte başarısız oluyor. Küçük görevlerde modele ihtiyacınız zaten marjinal, büyük görevde ise bölmek problemi çözmüyor.
Hatanın nasıl göründüğü meselesi
Bozuk bir betik çalışmaz, hata verir ve nerede kırıldığını söyler. Yanlış bir özet ise akıcı, dengeli ve makul görünür. Aradaki bu fark, gözden geçirme alışkanlığınızı işe yaramaz hale getirir; çünkü alışkanlık, hatanın kendini belli edeceği varsayımına dayanır.
Model, veride zayıf duran bir temayı güçlü olanla aynı özgüvenle yazar. Tek bir katılımcının bir kez söylediği şey özette "kullanıcılar genellikle" cümlesine dönüşebilir. Bu yüzden her iddianın yanında kaç kaynaktan geldiği görünmeli. Göremiyorsanız elinizdeki şey bulgu değil, taslaktır.
Pratikte akış
Transkripti otomatik çıkarır, kodlamayı elle yaparım. Aradaki adım, yani ham metinde neyin peşinde olduğunuza karar vermek, araştırmanın kendisidir; devrettiğinizde zaman kazanmazsınız, sadece sonucu erken sabitlersiniz.
- Kaydı otomatik yazıya dökün, birkaç dakikalık bir örneklemi elle doğrulayın.
- Kod çerçevesini kendiniz kurun ve ilk görüşmeleri elle kodlayın.
- Kalan görüşmelerde etiketlemeyi modele yaptırın, uyuşmayan yerleri tek tek geçin.
- Sentezi elle yazın, destekleyici alıntıları korpus aramasıyla bulun.