Tanım
Parametre açısından verimli ince ayar (PEFT), tüm modeli güncellemek yerine yalnızca küçük bir parametre alt kümesini güncelleyerek büyük önceden eğitilmiş modelleri yeni görevlere uyarlamak için kullanılan bir tekniktir.
Amaç
Amaç, güçlü görev performansını korurken hesaplama maliyetini ve depolama gereksinimlerini azaltmaktır.
Önem
- Büyük kaynaklara sahip olmayan kuruluşlar için ince ayar yapmayı mümkün kılar.
- Tam model eğitimine kıyasla karbon ayak izini azaltır.
- Üretimde verimli görev geçişine olanak tanır.
- LoRA ve adaptörler gibi yöntemlerle ilgilidir.
Nasıl Rezervasyon Yaparım ?
- Büyük, önceden eğitilmiş bir temel model seçin.
- Parametre alt kümelerini tanımlayın (örneğin, düşük rütbeli adaptörler).
- Hedef görev verilerinde yalnızca bu alt kümeleri eğitin.
- Diğer parametreleri dondurun.
- Minimum kaynak yüküyle dağıtım yapın.
Örnekler (Gerçek Dünya)
- LoRA (Düşük Dereceli Uyarlama): LLM'lerin ince ayarında yaygın olarak kullanılır.
- Hugging Face PEFT kütüphanesi: etkili ince ayar araç takımı.
- Google araştırması: Çok dilli NLP görevleri için adaptörler.
Referanslar / İlave Okumalar
- Hu ve diğerleri. “LoRA: Büyük Dil Modellerinin Düşük Dereceli Uyarlaması.” arXiv.
- Houlsby ve ark. “NLP için Parametre Verimli Transfer Öğrenmesi.” ACL.
- Sarılma Yüzü PEFT Dokümantasyonu.
