Tanım
Ön eğitim, belirli görevler üzerinde ince ayar yapmadan önce, büyük genel amaçlı veri kümeleri üzerinde bir makine öğrenimi modelinin ilk eğitimidir.
Amaç
Amaç, çoklu görevlere aktarılabilen geniş temsillere sahip modeller sağlamak, veri ve hesaplama gereksinimlerini azaltarak aşağı akış adaptasyonuna yöneliktir.
Önem
- Modern LLM'ler ve görme modelleri için temel.
- Çeşitli görevlerdeki performansı artırır.
- Veri ve hesaplama açısından maliyetli.
- Önyargıdan kaçınmak için dikkatli veri seti düzenlemesi gerektirir.
Nasıl Rezervasyon Yaparım ?
- Büyük genel veri kümelerini (metin, resim) toplayın.
- Gözetimsiz veya kendi kendine gözetimli öğrenme görevlerini tanımlayın.
- Modellerin genel özelliklerini öğrenmeleri için onları eğitin.
- Önceden eğittiğiniz ağırlıkları tekrar kullanmak üzere saklayın.
- Daha küçük göreve özgü veri kümelerinde ince ayar yapın.
Örnekler (Gerçek Dünya)
- BERT, Wikipedia ve BooksCorpus'ta önceden eğitilmiştir.
- CLIP, resim-metin çiftleri üzerinde eğitildi.
- Büyük ölçekli internet metinleri üzerinde önceden eğitilmiş GPT modelleri.
Referanslar / İlave Okumalar
- Devlin ve diğerleri. “BERT: Derin Çift Yönlü Transformatörlerin Ön Eğitimi.” NAACL 2019.
- Radford ve diğerleri. “Dil Modelleri Az Sayıda Öğrenenlerdir.” NeurIPS 2020.
- OpenAI GPT-4 Teknik Raporu.
