Yapay Zeka Modelleri Nasıl Eğitilir? Ön Eğitim, İnce Ayar ve RLHF
Bir dil modelinin verdiği yanıt, üst üste binmiş üç eğitim aşamasının sonucudur: etiketsiz devasa metinle yapılan ön eğitim, elle hazırlanmış örneklerle yapılan ince ayar, insan tercihleriyle yapılan pekiştirme. Hangi aşamanın neyi belirlediğini karıştırmak, modelin neden kendinden emin bir tonla yanlış konuşabildiğini de anlaşılmaz kılar. Sıra rastgele değil, her aşama bir öncekinin üstüne yazar.
Ön eğitim: bilgi buradan gelir
İlk aşamada model, internet metinleri, kitaplar ve kod arşivleri gibi etiketlenmemiş veriyle beslenir. Yaptığı iş tek bir şeye indirgenebilir: bir sonraki kelimeyi tahmin etmek. Milyarlarca kez tekrarlanan bu tahmin oyunu, dilbilgisini, kavramlar arası ilişkileri ve dünyaya dair olgusal bilginin büyük kısmını istatistiksel olarak modele yerleştirir.
Model burada anlamı kavramaz, örüntüyü kavrar. Aradaki fark önemsiz gibi görünür ama sonraki her davranışın kaynağı bu. Veri kümesinde ne varsa modelin bildiği o, veri kümesinde ne kadar dengesizlik varsa modelin eğilimi de o.
İnce ayar: küçük veri, büyük etki
Ön eğitim biten modeli doğrudan kullanıcının önüne koyamazsınız; metni devam ettirir, soruya cevap vermez. İkinci aşamada uzmanların ya da veri etiketleyicilerin hazırladığı giriş-yanıt çiftleriyle modele konuşma biçimi öğretilir.
Buradaki oran şaşırtıcıdır. Ön eğitim verisi milyarlarca kelime ölçeğindeyken ince ayar verisi tipik olarak on binler mertebesinde örnektir. Yani modelin bildiği şeyin neredeyse tamamı ilk aşamadan gelir, nasıl davrandığı ise ikinci aşamadaki o küçük kümenin eseridir. Bir modelin üslubunu, çekingenliğini, hangi soruyu reddettiğini merak ediyorsanız, bakılacak yer devasa ön eğitim korpusu değil, o birkaç on bin örneği yazan ekiptir.
RLHF: ödüllendirilen şey doğruluk değil, tercih
Üçüncü aşamada model aynı soruya birden fazla yanıt üretir, insan değerlendiriciler bunları sıralar, bu sıralamalardan bir ödül modeli öğrenilir ve asıl model bu ödülü yükseltecek şekilde ayarlanır. Yönteme insan geri bildirimli pekiştirmeli öğrenme, kısaca RLHF deniyor.
Mekanizmanın sınırı tam da tanımının içinde. Değerlendirici "hangi yanıt daha doğru" sorusunu değil, pratikte "hangi yanıtı daha çok beğendim" sorusunu cevaplar. Beğeni ile doğruluk çoğu durumda örtüşür. Örtüşmediği durumda model beğeniyi seçer: daha uzun, daha kendinden emin, kullanıcıyı daha çok onaylayan yanıtı. Modellerin kullanıcıya hak verme eğilimi bir yan etki değil, ödül sinyalinin doğrudan sonucudur.
Bunun ürün tarafındaki karşılığı net: bir modelin ne kadar ikna edici konuştuğu, ne kadar doğru olduğuna dair kanıt sayılmaz. Arayüzde kaynak gösterimi, alıntı bağlantısı veya emin olunmayan yerin işaretlenmesi bu yüzden süs değil, telafi.
Geri bildirimi kimden topladığınız modeli belirler
Kendi ürününüze yapay zeka destekli bir asistan koyduğunuzda aynı döngünün küçüğünü siz kurarsınız. Yanıtın altına konan başparmak yukarı ve aşağı düğmeleri ilk bakışta ucuz bir çözüm gibi durur, ama topladıkları veri iki yönden bozuktur. Oran düşüktür, ve basanlar rastgele bir örneklem değildir: ya çok memnun kalan ya da öfkelenen kullanıcı basar. Ortada duran, yanıtı yeterli bulup işine dönen kullanıcı hiç görünmez. Bu veriyle ayarlanan bir sistem, uç görüşlerin ortalamasına doğru kayar.
Ürün içi geri bildirimi ben genelde bu düğmelerle değil, davranış sinyalleriyle toplarım: kullanıcı yanıtı kopyaladı mı, aynı soruyu birkaç saniye sonra yeniden yazdı mı, konuşmayı yarıda bıraktı mı, önerilen adımı gerçekten uyguladı mı. Bunlar her oturumda üretilir, kullanıcıdan ekstra bir eylem istemez ve niyeti düğmeden daha dürüst gösterir. Düğmeler kalabilir, ama karar verirken ikincil sinyal muamelesi görmeleri gerekir.
Arama motoru bulur, model üretir
Geleneksel arama motoru var olan sayfaları getirir. Dil modeli o an üretir, ve ürettiği şey istatistiksel olarak olası olandır, doğru olan değil. Halüsinasyon dediğimiz şey bir arıza değil, üretim biçiminin kendisidir.
Retrieval-augmented generation (RAG) bu ikisini birleştirir: model önce bir kaynak kümesinden ilgili parçaları çeker, sonra yanıtı o parçalara dayandırarak yazar. Kurumsal kullanımda tercih edilmesinin sebebi kalite artışından çok izlenebilirlik: yanıtın hangi belgeye dayandığını gösterebiliyorsanız, kullanıcı yanlışı kendi başına yakalayabilir.
Eğitimin görünmeyen faturası
Büyük bir modelin eğitimi haftalarca çalışan işlemci kümeleri, buna bağlı enerji ve soğutma maliyeti demektir. Daha az konuşulan kalem ise insan emeği: ince ayar örneklerini yazan, RLHF sıralamalarını yapan, zararlı içeriği etiketleyen kalabalık bir işgücü var ve bu iş çoğunlukla düşük ücretle, zorlayıcı içerikle temas ederek yapılıyor.
Bir modeli "eğitilmiş" saymak, bu iki maliyetin de birileri tarafından ödendiğini kabul etmek anlamına gelir. Kimin ödediğini sormak teknik bir merak değil, sorumluluk sorusudur.