- Veri koleksiyonu: Eğitimim çok çeşitli internet metinleriyle başladı. Bununla birlikte, geniş bir veri kümesi üzerinde eğitim almış olmama rağmen, hangi belgelerin o eğitim kümesinin bir parçası olduğu veya herhangi bir belirli belge veya kaynağa erişimi olduğu konusunda ayrıntılı bilgim olmadığını belirtmeliyim.
- Başlangıç Eğitimi (Ön eğitim): Cümledeki bir sonraki kelimeyi tahmin etmeyi burada öğrendim. İngilizce veya başka bir dil öğrenmeye başlamadım. Bunun yerine, milyonlarca cümlede bir sonraki kelimeyi tahmin ederek yavaş yavaş gramer, dünya hakkındaki gerçekler ve bazı muhakeme becerileri öğrendim. Ancak bu, veriler tam olarak filtrelenmediği için önyargılı veya yanlış bilgilerden öğrenmiş olabileceğim anlamına da geliyor.
- İnce ayar: İlk eğitimden sonra, OpenAI'deki içerik oluşturucularım, insan incelemecilerin yardımıyla oluşturulan daha spesifik bir veri kümesiyle daha fazla rehberlik sağladı. Bu gözden geçirenler, bir dizi örnek girdi için olası model çıktılarını incelemek ve derecelendirmek için yönergeleri izler. İnce ayar süreci, model ile gözden geçirenler arasında insani değerlerle daha iyi uyum sağlamama yardımcı olan bir tür diyalogdur.
- Devamlı öğrenme: Gizlilik nedeniyle bireysel etkileşimlerden bir şey öğrenemesem de OpenAI, geri bildirim sağlamak ve daha geniş kalıplara ve içgörülere dayalı yinelemeli iyileştirmeler yapmak için sürekli olarak bir insan inceleme ekibiyle birlikte çalışıyor.
- Ön eğitim Örneği: Diyelim ki “Kedi __ üzerine oturdu” cümlesine sahibiz. Ön eğitim aşamasında, benim gibi model, cümledeki bir sonraki kelimeyi tahmin etmeyi öğrenirdi, bu kelime "mat", "çatı" veya "ağaç" olabilir. Bu, insanlar orijinal içeriği oluştururken dolaylı olarak insan etkileşimini içeren çeşitli internet metinlerinden milyarlarca cümleyi işleyerek öğrenilir.
- İnce ayar Örneği: Ön eğitim aşamasından sonra, model ince ayar aşamasına girer. İşte nasıl çalışabileceği:
İnsan incelemeciye, “Aşağıdaki İngilizce metni Fransızcaya çevir: 'Merhaba, nasılsın?'” gibi girdiler için olası model çıktılarını gözden geçirme görevi verilir. Model, "Bonjour, yorum ça va?" veya "Selam, yorum vas-tu?" vesaire.
Gözden geçiren kişi bu yanıtları doğruluk, akıcılık ve uygunluk gibi faktörlere göre derecelendirir. Bu derecelendirmeler, modelin gelecekte benzer girdileri genelleştirmesine ve bunlara yanıt vermesine yardımcı olur.
Unutmayın, burada verilen örnekler süreci göstermek için basitleştirilmiştir. Gerçek eğitim, karmaşık algoritmalar ve çok miktarda veri içerir.
- Veri Çeşitliliği: Bu sadece verilerin hacmiyle ilgili değil, aynı zamanda çeşitlilikle de ilgili. Verilerin, insan dilinde bulunan çok çeşitli konuları, stilleri ve tonları kapsayacak şekilde çeşitlendirilmesi gerekir.
- Veri Kalitesi: Eğitim için kullanılan verilerin kalitesi, modelin ne kadar etkili öğrendiğini de etkileyebilir. Daha kaliteli veriler, etkili eğitim için gereken hacmi potansiyel olarak azaltabilir.
- Model Mimarisi: Modelin mimarisi (sinir ağındaki katman veya parametre sayısı gibi) ne kadar veriye ihtiyaç duyulacağını da etkileyebilir. GPT-3 veya GPT-4 gibi daha büyük modeller, genellikle daha küçük modellerden daha fazla veri gerektirir.
- Eğitim Amaçları: Modelin gerçekleştirmesi amaçlanan görevlerin türü, ihtiyaç duyulan veri miktarını etkileyebilir. Belirli bir görev için tasarlanmış bir model, iyi hedeflenmişse daha az veri gerektirebilirken, GPT-3 veya GPT-4 gibi çok çeşitli görevleri işlemek üzere tasarlanmış genel amaçlı bir model, daha kapsamlı bir anlayış için daha fazla veri gerektirecektir.
Örneğin GPT-3 söz konusu olduğunda, model 175 milyar parametreye sahiptir ve yüzlerce gigabayt metin üzerinde eğitilmiştir. Ancak bu rakamlar, sürecin karmaşıklığını tam olarak yansıtmıyor. Kullanılan verilerin tam miktarı da dahil olmak üzere eğitim sürecinin ayrıntıları, OpenAI ve benzeri kuruluşlar tarafından tutulan tescilli ayrıntılardır.
- Küçük başla: Özellikle basit problemler veya ilk model prototipleri için daha küçük bir veri seti yeterli olabilir. Örneğin, temel bir görsel sınıflandırıcı oluşturuyorsanız, kategori başına birkaç yüz veya bin görselle başlayabilirsiniz.
- Karmaşıklığı Düşünün: Daha karmaşık problemler genellikle daha fazla veri gerektirir. Bir derin öğrenme modeli geliştiriyorsanız veya doğal dil işleme gibi karmaşık bir sorunla çalışıyorsanız milyonlarca veri noktasına ihtiyacınız olabilir.
- Nicelik Üzerinden Nitelik: Kaliteli, ilgili veriler genellikle çok sayıda düşük kaliteli veriden daha faydalı olabilir. Verilerinizin uygun şekilde temizlendiğinden, açıklama eklendiğinden ve çözmeye çalıştığınız sorunu temsil ettiğinden emin olmak çok önemlidir.
- Sınıflarınızı Dengeleyin: Denetimli öğrenme görevleri için, her sınıf için iyi bir örnek dengesine sahip olduğunuzdan emin olun. Dengesiz bir veri kümesi, yetersiz temsil edilen sınıflarda düşük performans gösteren bir modele yol açabilir.
- Doğrulama ve Test Setlerini Kullanın: Veri kümenizin bir kısmı doğrulama (model parametrelerini ayarlama) ve test etme (model performansını değerlendirme) için ayrılmalıdır. Verilerin %70'i eğitim, %15'i doğrulama ve %15'i test için ortak bölünmeler olabilir, ancak bu oranlar değişebilir.
- Deneyin ve Yineleyin: İlk miktarda veriyle başlayın, modelinizi eğitin, performansını değerlendirin ve yinelemeli olarak daha fazla veri ekleyin, modelinizde ince ayarlar yapın veya sonuçlara göre veri kalitenizi iyileştirin.
Unutmayın, daha fazla veri genellikle makine öğrenimi modellerinin performansını artırır, ancak yalnızca bir noktaya kadar. Belli bir noktadan sonra daha fazla veri toplamak, değerinden daha fazla zaman alıcı ve maliyetli olabilir ve verilerinizin kalitesini artırmaya veya model mimarinizi iyileştirmeye odaklanmak daha faydalı olabilir.
- Ön eğitim: Bu aşamada, model büyük miktarda internet metin verisine maruz kalır. Bu veriler açıkça açıklamalı değildir, ancak model bir cümledeki bir sonraki kelimeyi tahmin edecek şekilde eğitilmiştir. Bu, modele genel bir gramer anlayışı, dünya hakkında gerçekler ve bazı muhakeme yetenekleri verir.
- İnce ayar: Ön eğitimden sonra model, insan gözden geçirenlerin yardımıyla oluşturulan daha dar bir veri kümesi üzerinde daha da geliştirilir. Bu gözden geçirenler, bir dizi girdi için olası model çıktılarını gözden geçirmek ve derecelendirmek için OpenAI yönergelerini izler. Bu anlamda ince ayar süreci, insan gözden geçirenlerin modelin yanıtlarını yönlendirdiği, modelin insani değerlerle daha iyi uyum sağlamasına yardımcı olduğu ve uygunsuz veya güvenli olmayan içerikten kaçınmasını sağladığı bir açıklama biçimi olarak görülebilir.
Bu nedenle, ön eğitim için kullanılan ilk veri kümesi geleneksel anlamda açıklamalı olmasa da, ince ayar süreci, insan gözden geçirenlerin farklı çıktıları derecelendirerek modelin davranışını yönlendirdiği bir tür açıklama içerir.
doğruluk: Gözden geçirenler, modelin çıktısının gerçekte doğru olup olmadığını değerlendirir.
Örnek:
uygunluk: Modelin çıktısı, verilen girdiye göre uygunluğu açısından değerlendirilir.
Örnek:
Güvenlik: Çıktılar, zararlı talimatlar veya rahatsız edici dil içermediklerinden emin olmak için gözden geçirilir.
Örnek:
Bütünlük: Bu, modelin yanıtının kullanıcının sorgusunu tam olarak yanıtlayıp yanıtlamadığını değerlendirir.
Örnek:
akıcılık: Gözden geçirenler, modelin çıktısının dilsel olarak akıcı ve tutarlı olup olmadığını kontrol eder.
Örnek:
Bu kategoriler sadece örnektir. Gerçek ince ayar süreci, daha karmaşık bir değerlendirme sistemi ve gözden geçirenler ile yapay zeka geliştirme ekibi arasında sürekli geri bildirim içerir. Bu açıklamaların amacı, modelin yanıtlarını daha yararlı, güvenli ve insani değerlerle uyumlu hale getirmektir.
ChatGPT'nin arkasındaki kuruluş olan OpenAI, ince ayar sürecine dahil olan incelemecilerin tam sayısını kamuya açıklamıyor. Bununla birlikte, böylesine geniş bir dil modelinin eğitiminin ölçeği ve karmaşıklığı göz önüne alındığında, sürecin büyük olasılıkla önemli bir inceleme ekibini içerdiğini söylemek güvenlidir.
Bu insan gözden geçirenler, olası model çıktılarını incelemek ve derecelendirmek için OpenAI tarafından sağlanan yönergeleri izler. Bu, gözden geçirenlerin geri bildirimlerinin modeli zaman içinde geliştirmek ve hassaslaştırmak için kullanıldığı sürekli, yinelemeli bir süreçtir. OpenAI, soruları ele almak ve açıklamalar sağlamak için haftalık toplantılar da dahil olmak üzere gözden geçirenlerle güçlü bir geri bildirim döngüsü sürdürür.
- Görevin Karmaşıklığı: Görüntüleri etiketleme veya metni kategorilere ayırma gibi basit görevler, PDF başına daha az zaman alır ve tek bir açıklamacının daha fazla dosyayı işlemesine olanak tanır. Öte yandan, ayrıntılı varlık çıkarma veya semantik analiz gibi karmaşık görevler, belge başına daha fazla zaman ve dolayısıyla aynı hacimdeki PDF'ler için daha fazla ek açıklama gerektirecektir.
- PDF'lerin Uzunluğu ve Karmaşıklığı: Daha uzun veya daha karmaşık bir PDF'ye açıklama eklemek, daha kısa veya daha basit bir PDF'ye göre daha fazla zaman alacaktır.
- Kalite Gereksinimleri: Yüksek hassasiyet gerekiyorsa, ek açıklamaları çapraz doğrulamak için PDF başına birden çok açıklayıcıya sahip olmak gerekebilir.
- Zaman kısıtlayıcıları: Ek açıklamaların hızlı bir şekilde tamamlanması gerekiyorsa, daha fazla ek açıklamacıya ihtiyaç duyulacaktır.
Varsayımsal bir örnek olarak, bir anlatıcının belirli bir görev için günde 5 PDF'ye açıklama ekleyebileceğini ve haftanın 5 günü çalıştığını varsayalım. Bu durumda, 10,000 PDF'ye not eklemek için tek bir annotator 2000 güne, yani yaklaşık 8 yıla ihtiyaç duyar.
Ancak, 20 ek açıklama ekibiniz varsa, görevi yaklaşık 5 ayda tamamlayabilirler (ayda 20 iş günü olduğu varsayılarak). 100 noter ile aynı görev yaklaşık bir ayda tamamlanabilir.
Unutmayın, bu sayılar tamamen açıklayıcıdır ve açıklamanın gerçek hızı yukarıda belirtilen faktörlere bağlı olacaktır. Ek olarak, açıklayıcıların uygun eğitimi ve tutarlı kalite kontrolü, herhangi bir büyük ölçekli açıklama projesinin başarısı için kritik öneme sahiptir.
