AI Destekli UX Araçlarının Gerçek Sınırları

AI destekli UX araçları transkript özetlemekte iyi, oturumu anlamakta değil. Aradaki fark pazarlama sayfalarında kayboluyor, faturası yanlış önceliklendirilmiş bir backlog olarak geri geliyor. Bu araçların nerede zaman kazandırdığını, nerede sadece iş ürettiğini ayırmak zor değil.

Araç ne okuyor

Piyasadaki çözümler kabaca ikiye ayrılıyor. Bir grubu oturum transkriptini alıp başlıklara bölüyor ve bulgu listesi çıkarıyor. Diğeri araştırmacının etiketlerini, notlarını ve araştırma sorusunu da girdiye katıyor; çıktısı belirgin şekilde daha isabetli, çünkü neye bakması gerektiğini biliyor. İkinci gruba para vermeye değer, birincisi ücretsiz bir özetleyiciyle aynı işi yapıyor.

Ama ikisinin de girdisi metin. Ekran kaydını izlemiyorlar, tıklama akışını görmüyorlar, katılımcının bir ekranda durakladığı on dört saniyeyi bilmiyorlar. Transkriptte sessizlik yoktur.

“Görseli analiz edemiyor” derken

Bu cümle araçlar için doğru, modeller için değil. Altta çalışan modellerin çoğu görüntü işleyebiliyor, araç onlara görüntü göndermiyor. Engel teknik imkânsızlık değil, maliyet: kırk dakikalık bir oturum saniyede bir kare örneklendiğinde 2.400 kare, kayıt hızında 72.000 kare eder. Bunu her oturum için modele yollamanın bedeli, bir transkripti özetlemenin yanında ölçüsüz kalıyor.

Pratik karşılığı şu: görsel bulgu istiyorsan kaydı kendin işaretleyeceksin. Araçtan alacağın şey katılımcının söyledikleriyle sınırlı, yaptıklarıyla değil.

İz sürülemeyen bulguyu karara sokma

Çıktıdaki her madde katılımcı numarası ve zaman damgası taşımalı. Taşımıyorsa o bulgu doğrulanamaz, doğrulanamayan bir cümle de tasarım kararının gerekçesi olamaz. Araç seçerken bakılacak ilk şey bu; özet kalitesi sonra gelir.

Bir keresinde on beş oturumluk bir setin özetini aldım, maddelerden biri “kullanıcılar arama sonuçlarından memnun değil” diyordu; kayıtlara dönünce sıkıntının aramada değil, sonuç listesinde fiyatın görünmemesinde olduğu çıktı. Özet yanlış değildi, sadece yanlış yere bakmamı sağlayacak kadar genişti.

Çıktının genel çıkması bir arıza değil

“Bilgiye kolay erişilebilmeli” tipindeki yorumlar, özetleyicinin hedefinden geliyor: model her şeyi kapsamaya çalışır, kapsadıkça genelleşir. Bunu araca geniş soru sorarak düzeltemezsin. Dar sor. “Ödeme adımında hangi katılımcılar geri döndü ve döndükten sonra ne söyledi” sorusunun cevabı kullanılabilir, “bu oturumlardan ne öğrendik” sorusununki değil.

Önyargısız diye bir şey yok

Bias-free vaadi reklam metni. Model eğitim verisinden önyargı taşır, üstüne araştırmacının etiketleri ve soru kalıpları eklenir. İnsan araştırmacıdaki önyargı en azından tartışılabilir durumdadır; modelinki bulgunun içine gömülü gelir ve tonu emin olduğu için fark edilmesi daha zordur. Çoklu doğrulama bu yüzden duruyor.

Kullanmaya değdiği yerler

Bu araçlar bir yerde gerçekten zaman kazandırıyor:

• Yirmi oturumun içinde belirli bir konunun geçtiği anları bulmak
• Önceden tanımlı bir etiket şemasına göre ilk geçişi yapmak, sonra elle düzeltmek
• Ham transkripti okunabilir hale getirmek
• Paydaşa göstereceğin alıntıyı aramak

Hepsinin ortak noktası, çıktıyı doğrulamanın ucuz olması. Bulgu üretmeye başladığı anda doğrulama maliyeti araştırmayı kendin yapmaya yaklaşıyor, kazanç da orada bitiyor. Yeni bir araca geçmeden önce elindeki eski bir çalışmayı ona verip sonucu bildiğin bulgularla karşılaştır; demo videosundan daha çok şey öğretir.