İnsan Geri Bildiriminden (RLHF) Takviyeli Öğrenim

Tanım

İnsan Geri Bildiriminden Güçlendirmeli Öğrenme (RLHF), eğitim sürecine insan yargılarını dahil ederek yapay zeka modellerini insan değerleriyle uyumlu hale getirmek için kullanılan bir yöntemdir. Genellikle büyük dil modellerini ince ayarlamak için kullanılır.

Amaç

Amaç, yapay zeka çıktılarını daha güvenli, daha kullanışlı ve insan tercihleriyle uyumlu hale getirmektir. RLHF, zararlı, önyargılı veya alakasız yanıtları azaltarak konuşma sistemlerini iyileştirir.

Önem

• Yapay zeka eğitiminde insan gözetimi sağlar.
• Yapay zeka sistemlerinin güvenilirliğini artırır.
• İnsanın açıklama yapması gerektiğinden emek yoğundur.
• Tercih modellemesi ve uyum araştırmasıyla ilgili.

Nasıl Rezervasyon Yaparım ?

1. Model çıktılarını karşılaştırarak insan geri bildirimi toplayın.
2. İnsan tercihlerine göre bir ödül modeli eğitin.
3. Temel modeli ince ayar yapmak için takviyeli öğrenmeyi kullanın.
4. Performansı uyum hedeflerine göre değerlendirin.
5. Ek geri bildirimlerle tekrarlayın.

Örnekler (Gerçek Dünya)

• OpenAI ChatGPT: Daha güvenli müdahaleler için RLHF ile ince ayar yapıldı.
• Anthropic'in Anayasal Yapay Zekası: Doğrudan geri bildirimden ziyade ilkelerle yönlendiriliyor.
• InstructGPT: RLHF'yi gösteren erken OpenAI modeli.

Referanslar / İlave Okumalar

• Christiano ve diğerleri. “İnsan Tercihlerinden Derin Güçlendirmeli Öğrenme.” NeurIPS 2017.
• OpenAI InstructGPT Makalesi.
• NIST Yapay Zeka Risk Yönetimi Çerçevesi.
• İnsan Geri Bildirimi (RLHF) ile Takviyeli Öğrenme Nedir?