Yapay Zekayla Araştırma Planı: Nerede İşe Yarar, Nerede Yanıltır

Yapay zeka araçları bir araştırma planının taslağını dakikalar içinde çıkarıyor. Sorun taslakta değil, taslağın ne kadarının kullanılabilir olduğunda. Model tutarlı görünen bir belge üretmek üzere eğitildi, geçerli bir ölçüm aracı üretmek üzere değil. Bu ikisi çoğu zaman birbirine benziyor, işte asıl risk orada.

Bağlam vermek çıktıyı iyileştirir, bir yere kadar

Ürünü, kapsamı ve hedefi ayrıntılı anlatmanın faydası gerçek: model sizin alanınızın kelimelerini kullanmaya başlar, jenerik cümleler azalır. Ama burada olan şey bilginin artması değil, dilin daralması. Modelin sizin kullanıcılarınız hakkında bir verisi yok; onlar adına ürettiği her hipotez, benzer ürünlerde yazılmış metinlerin ortalaması.

Kaynak metinlerin sık tekrarladığı iki tavsiye de birbiriyle çelişiyor. Bir yandan planı parçalara bölüp her bölümü ayrı istemde hazırlamanız söyleniyor, diğer yandan modelin sohbet geçmişini bütünüyle değerlendirmediği, bağlamı her seferinde tekrar vermeniz gerektiği. İkisi birlikte uygulandığında ortaya çıkan şey şu: aynı brief'i beş kez yapıştırırsınız, buna rağmen beş parça birbirinden bağımsız sürüklenir. Katılımcı kriteri ile görev senaryosunun farklı kullanıcıyı tarif ettiğini genelde en sonda, belgeyi birleştirirken görürsünüz.

Elli soru istemek beş iyi soru getirmez

Havuzu genişletme tavsiyesi sezgisel olarak doğru duruyor. Uygulamada aynı istemden çıkan elli soru bağımsız değil, birbirinin varyasyonu. Ayıklama işi de size kalıyor ve o ayıklama, beş soruyu baştan yazmaktan uzun sürüyor.

Daha verimlisi ters yönde çalışmak. Araştırma sorularını kendiniz yazın, sonra modelden onları eleştirmesini isteyin: hangisi davranış yerine niyet ölçüyor, hangisi tek görüşmede cevaplanamayacak kadar geniş, hangi ikisi aslında aynı soru. Model eleştirmende yaratıcıdan daha iyi.

Yöntem önerisini olduğu gibi almayın

Soru tiplerini yöntemlere eşlemek modelin iyi yaptığı bir iş, çünkü bu eşleme ders kitaplarında yazılı. Atladığı şey bütçe, takvim ve katılımcı bulma zorluğu. İki haftalık bir işe günlük tutma çalışması önerir, kimseyi bulamayacağınız bir profil için otuz kişilik örneklem çıkarır.

Çoğu ürün sorusunda beş kişilik moderatörlü oturumu, üç yüz kişilik ankete tercih ederim. Anket size kaç kişinin ne dediğini söyler; neden dediğini söylemez ve tasarım kararı çoğunlukla nedene bağlıdır. Anket, sorunun ne olduğunu zaten bildiğiniz ve yaygınlığını ölçmek istediğiniz durumda doğru araç.

Görev senaryosunda cevabı sızdırmak

Bir projede kullanılabilirlik testi senaryolarını modele yazdırdım, katılımcıların neredeyse hepsi görevi tamamladı ve sonradan fark ettim ki senaryo metninin içinde aradıkları butonun adı geçiyordu.

Bu tesadüf değil. Modele arayüzü tarif ettiğiniz için elindeki tek kelime dağarcığı arayüzün kendi etiketleri. Çözüm, senaryoyu kullanıcının hedefinden yazmak ve metne ekranda görünen hiçbir ismi koymamak. Test edeceğiniz butonun adı senaryoda geçiyorsa, o test bulma davranışını değil okuma becerisini ölçer.

Ekran sorularında niyet değil, geçmiş davranış

Modelin ürettiği ön eleme anketleri kibar sorular sorar: şöyle bir özelliğe ilgi duyar mıydınız, böyle bir uygulamayı kullanmayı düşünür müsünüz. Bu sorulara herkes evet der, çünkü evet demenin bedeli yok.

Son otuz günde kaç kez yaptınız diye sorun. En son ne zaman yaptınız, o sırada hangi aracı kullandınız diye sorun. Sayı isteyen soru yalanı zorlaştırır, ayrıca cevapları gruplamayı kolaylaştırır.

Devretmesi güvenli olan işler

Modelin hatasının size pahalıya mal olmadığı yerler var ve orada gerçekten zaman kazandırıyor: davet ve hatırlatma e-postaları, onam metninin ilk taslağı, not alma şablonu, transkriptten tema çıkarma denemesi. Bu sonuncusunu kontrol ederek kullanın; model transkriptte olmayan bir cümleyi özete rahatlıkla yerleştirebiliyor.

Araştırmanın geçerliliğini belirleyen üç şeyi, yani kimi çağırdığınızı, ne sorduğunuzu ve ne yapmalarını istediğinizi, kendiniz yazın.