Sesli Asistan Paradoksu: Düşük Kullanılabilirlik, Yüksek Memnuniyet

Sesli asistanlar kullanılabilirlik testlerinde kötü not alıyor, memnuniyet anketlerinde iyi. Bu ikisi çelişki gibi görünüyor ama değil. Kullanıcılar görevi asistana göre küçültmeyi öğrendi, dolayısıyla bugün ölçülen memnuniyet, sistemin ne kadar iyi olduğunu değil, beklentinin ne kadar aşağı çekildiğini gösteriyor.

Kullanıcı görevi araca göre kısaltıyor

Sesle sorulan şeylere bakınca hepsinin ortak bir özelliği var: tek adım, tek doğru cevap, yanlış giderse maliyeti sıfır. Zamanlayıcı kur, hava durumunu söyle, şu şarkıyı çal. Çok adımlı bir talep bir kez başarısız olduğunda kullanıcı ikinci kez denemiyor, telefona uzanıyor.

Bu davranış birkaç hafta içinde yerleşiyor ve sonrasında kullanıcı asistanın nerede tökezlediğini kendisi de fark etmiyor. Zor görev artık repertuarda yok. Memnuniyet de tam bu yüzden yüksek: insan yalnızca çalıştığını bildiği şeyi soruyor.

Başarı oranı yanlış paydayla hesaplanıyor

Asistan loglarından çıkarılan başarı oranı, kullanıcıların denemeye karar verdiği görevler üzerinden hesaplanıyor. Denenmeyen görev veri setinde hiç yok. Payda kendi kendini temizlediği için oran zamanla yükseliyor, üstelik sistem hiç iyileşmese bile.

Bunu ölçmek isteyen ekip tamamlanan komutları değil, yarıda kesilen oturumları saymalı: komut iptal edildikten sonraki otuz saniye içinde aynı işin ekranda yapılıp yapılmadığına bak. Kanal değişimi, kullanıcının o görevi asistana bir daha getirmeyeceğinin en erken sinyali ve ürün analitiğinde zaten kayıtlı duruyor, ayrıca bir araştırma kurgusu gerekmiyor.

Günlük tutma yöntemi de burada işe yarar, ama soruyu doğru kurman şartıyla. Kullanıcıya ne sorduğunu değil, sormaktan vazgeçtiğin bir şey oldu mu diye sor.

Sorun yalnızca dil anlama değil, çıktı kanalı

Çok adımlı taleplerin başarısız olmasını genellikle doğal dil işlemeye bağlıyoruz. Oysa asistan “önümüzdeki hafta Londra'daki üç oteli karşılaştır” cümlesini kusursuz anlasa bile cevabı veremez, çünkü ses seri ve geçici bir kanal. Üç otelin fiyatını, konumunu ve puanını arka arkaya dinleyen kullanıcı ilk otelin fiyatını üçüncüye gelmeden unutuyor. Karşılaştırma, seçenekleri yan yana tutmayı gerektirir; ses bunu yapamaz.

Ekranda aynı bilgi bir tablo olur ve göz istediği hücreye geri döner. Bu nedenle sesli arayüzde başarısız olan görevlerin bir kısmı model iyileştirmesiyle düzelmez, kanal yanlış seçilmiştir.

Ne zaman ses, ne zaman ekran

Pratik ayrım şöyle işliyor: cevap tek bir değerse veya tek bir eylemse ses uygundur. Cevap bir liste, bir karşılaştırma ya da geri dönüp düzeltilebilmesi gereken bir form ise sesi giriş kanalı olarak kullan, çıktıyı ekrana ver. Melez akış çoğu üründe tek başına sesten daha iyi sonuç veriyor, çünkü kullanıcının elinin dolu olduğu an ile gözünün boş olduğu an aynı an değil.

Ellerin de gözün de meşgulse, örneğin araç kullanırken, listeyi hiç sunma. Tek bir öneri ver ve neden onu seçtiğini bir cümleyle söyle. Kullanıcıya karar verdirmeye çalışmak bu bağlamda en riskli tasarım kararıdır.