Yapay zekâyla yazmada kazanç taslakta, maliyet düzeltmede

Yapay zekâyla yazma üzerine en çok alıntılanan deneyin sonucu tek cümleye sığıyor: aynı iş 27 dakika yerine 17 dakikada bitiyor. Sayının altında daha ilginç bir şey var. Taslak yazma süresi yarıya inerken düzeltme süresi ikiye katlanıyor, yani kazanç sabit değil, işin hangi aşamasının ağır bastığına bağlı.

Deneyin gerçekte ölçtüğü şey

Shakked Noy ve Whitney Zhang'ın 2023'te Science'ta yayımladığı çalışma, üniversite mezunu yaklaşık 450 profesyonele kendi mesleklerinden kısa yazma görevleri verdi: basın bülteni, kısa rapor, analiz özeti, hassas bir e-posta. Katılımcıların yarısına ChatGPT erişimi açıldı. Ortalama tamamlama süresi 27 dakikadan 17 dakikaya indi, aynı meslekten bağımsız değerlendiricilerin 1-7 arasında verdiği kalite puanı 3,8'den 4,5'e çıktı.

Bu çalışmadan türeyen "%59 daha hızlı" başlığı ayrı bir bulgu değil, aynı sayının öbür yüzü: 27/17 yaklaşık 1,59 eder. Süre %37 azaldığında hız %59 artmış görünür. İkisini yan yana koyup birbirini doğrulayan iki kanıt saymak yaygın bir hata, tek ölçümü iki kez saymaktan ibaret.

Kazanç taslakta, fatura düzeltmede

Deneyde sürecin aşamaları ayrı ölçüldü. Fikir üretmeye ayrılan süre neredeyse değişmedi, ilk taslağı yazma süresi yarıdan fazla azaldı, metni düzeltmeye ayrılan süre ise arttı. Toplam kazanç bu üç kalemin bakiyesi.

Buradan basit bir eşik çıkıyor. Taslak süresi d yarıya iniyor, düzeltme süresi e ikiye katlanıyorsa toplam süredeki değişim e - d/2 kadar. Net kazanç ancak e < d/2 iken var, yani taslak yazımı düzeltmenin iki katından uzun sürüyorsa. Kısa bir tanıtım metninde bu koşul rahat sağlanır: yazmak zor, kontrol etmek kolaydır.

Kullanılabilirlik testi raporunda koşul tersine döner. Orada her bulgu bir oturum kaydına, her cümle bir katılımcının yaptığı somut bir harekete bağlanmak zorundadır; düzeltme zaten işin büyük yarısıdır. Modelin taslağı hızlandırması toplamı kısaltmaz, çünkü doğrulanacak cümle sayısı artar. Kullanıcı testinden çıkan bir bulguyu modele özetletip rapora o haliyle koymam; özet, kaydı bir kez daha izlemenin yerine geçmiyor.

Farkı kapatır, tavanı yükseltmez

Çalışmanın en sağlam sonucu ortalama değil dağılım: en düşük puan alan katılımcılar en çok fayda gördü, katılımcılar arasındaki puan farkı daraldı. Model iyi yazanı belirgin biçimde daha iyi yapmıyor, zayıf yazanı ortalamaya çekiyor.

Ekip içindeki karşılığı doğrudan: arayüz metinlerini, hata mesajlarını, boş durum ekranındaki cümleyi çoğu üründe metin yazarı değil, geliştirici ya da ürün sorumlusu yazar. Sıçrama tam orada olur. Metni zaten 4,5 seviyesinde yazan kıdemli birine aynı araç aynı katkıyı vermez, ona kalan iş düzeltme tarafındadır ve o taraf pahalılaşmıştır.

Deneyin dışına taşarken dikkat

Görevlerin hepsi 20-30 dakikalık, tek oturumda biten, tek kişilik işlerdi. Aylara yayılan bir araştırma programı, çok paydaşlı ürün stratejisi ya da erişilebilirlik denetimi bu deneyde hiç sınanmadı. O alanlardaki verimlilik iddiası ölçümden değil, ölçümü genişletme isteğinden geliyor.

İkinci sınır kalite puanının kendisinde. Akıcılık ve düzen kolay puanlanır, doğruluk puanlanmaz. Bir WCAG kriterinin numarasını yanlış veren cümle gayet akıcı olabilir ve yüksek not alır. Pratik önlem, düzeltme aşamasını serbest okuma değil kontrol listesi haline getirmek: metindeki her sayı, her kriter numarası, her kullanıcı alıntısı kaynağına bağlanmadan yayına gitmesin. Liste kısa olduğunda düzeltmenin ikiye katlanan maliyeti yönetilebilir kalır, uzadığında aracın getirdiği kazancı yer.