LLM ve Yapay Zeka Eğitimi için Lisanslı Metin Veri Kümeleri
Dil öğrenme yönetimi (LLM), doğal dil işleme (NLP) ve üretken yapay zeka eğitimi için kullanıma hazır metin veri kümelerini lisanslayın — projenize özel olarak uyarlanmış konuşma tabanlı soru-cevap, kod, haber, klinik, akademik ve çok dilli veriler.
LLM ve NLP Eğitimi için Lisanslı Metin Veri Kümeleri
Shaip'in metin veri kataloğu, yapay zeka ekiplerine büyük dil modellerini (LLM'ler) ve doğal dil işleme (NLP) sistemlerini eğitmek, ince ayar yapmak ve değerlendirmek için kullanıma hazır, lisanslanabilir metin veri kümeleri sunar. Sekiz kategoriyi kapsar. Her veri kümesi gerçek dünya materyallerinden elde edilir ve projenize göre uyarlanabilir.
Katalog, İngilizce ve Arapça dillerinde, Modern Standart Arapça ile Suudi, Emirlik, Mısır ve Levant lehçelerini kapsayan konuşma tabanlı soru-cevap ve talimat veri kümelerini içermektedir. Ayrıca , dokuz programlama dilinde kod deposu veri kümeleri de bulunmaktadır; bunlardan bazılarının tam çekme isteği ve taahhüt geçmişi mevcuttur. Güncel olay modelleri ve RAG için, 1999 yılına kadar uzanan 975,000 makalelik bir arşiv de dahil olmak üzere İngilizce, İspanyolca ve Arapça dillerinde haber veri kümeleri bulunmaktadır. Sağlık alanındaki yapay zeka ekipleri, kimliksizleştirme dahil olmak üzere altın ve gümüş setler olarak sunulan klinik soru-cevap ve vaka veri kümelerini kullanabilirler.
Ön eğitim için, 20 milyon kelimelik Arapça bir metin kümesi de dahil olmak üzere ham metin ve web ölçekli metin kümeleri mevcuttur . Taranmış belge metin kümeleri, belge yapay zekasını ve bilgi çıkarımını destekler. Akademik ve yayıncı metinleri on iki bilim ve mühendislik konusunu kapsarken, senaryolu eğlence metinleri film, TV, animasyon ve mikro dramaları kapsar.
Her veri seti, net lisanslama ve kalite incelemesiyle birlikte gelir. Satın almadan önce veri setini değerlendirebilmeniz için örnekler mevcuttur. Aşağıdaki kategorilerden birine göz atın veya özel metin verisi toplama konusunda görüşmek için bizimle iletişime geçin.
Sohbet Tabanlı Soru-Cevap ve Talimat Veri Kümeleri
Bu veri setleri, Modern Standart Arapça'nın yanı sıra Suudi, Birleşik Arap Emirlikleri, Mısır ve Levant lehçelerini de kapsayan, insan tarafından oluşturulmuş soru-cevap çiftleri ve Arapça ve İngilizce dillerinde talimat tarzı yönlendirmeler içermektedir. Alana özgü setler STEM, gıda ve tarımı kapsamaktadır. Bölgesel lehçe kapsamının ve kültürel olarak temellendirilmiş bilginin önemli olduğu durumlarda, dil modellerinin talimat ayarlaması, ince ayarı ve değerlendirilmesini desteklemektedirler.
Kod ve Yazılım Deposu Veri Kümeleri
C#, React, TypeScript, Angular, Java, Go, PHP, Swift ve BrightScript dillerinde yazılmış, gerçek ve piyasaya sürülmüş yazılımlardan alınan üretim kod tabanları. Birçok giriş, inceleme sırasında kodun nasıl değiştiğini gösteren tam çekme isteği ve taahhüt geçmişini içerir. Kod tamamlama, kod oluşturma, kod anlama ve kod inceleme modeli eğitimini destekler ve lisanslama öncesinde değerlendirme için depolar mevcuttur.
Haber ve Gazetecilik Metin Veri Kümeleri
Büyük bir uluslararası haber kuruluşundan profesyonelce yazılmış ve düzenlenmiş haber makaleleri, İngilizce, İspanyolca ve Arapça dillerinde düzenli bir akış olarak ve 1999'dan beri yayınlanan 975,000 makaleden oluşan bir arşiv külliyatı olarak mevcuttur. Her makalede yazar adı, tarih, başlık, içerik ve konu etiketleri bulunur. Güncel olaylar model eğitimi, bilgi edinimiyle desteklenmiş üretim ve zamansal akıl yürütme görevleri için uygundur.
Klinik Soru-Cevap ve Vaka Veri Setleri
Sağlık hizmetlerine odaklı model eğitimi ve değerlendirmesi için tıbbi soru-cevap setleri, klinik vaka özetleri ve tam metin tıbbi makaleler. Altın ve gümüş veri setleri mevcuttur; altın veri seti kıyaslama için daha yüksek bir inceleme standardına göre hazırlanmıştır. Kaynak materyal kişisel olarak tanımlanabilir veya korunan sağlık bilgilerini içeriyorsa, sansürleme, kimliksizleştirme ve maskeleme işlemleri de dahil edilir.
Ham Metin ve Web Ölçekli Metin Derlemleri
Modern Standart Arapça ve bölgesel lehçeleri kapsayan, 20 milyon kelimelik ham metin kümesi de dahil olmak üzere, büyük hacimli ham metin, komut istemi ve metinden sese dönüştürme metin veri kümeleri. Bu veri kümeleri, Modern Standart Arapçayı iyi işleyen ancak konuşulan bölgesel varyantlarda kötü performans gösteren modellerde dil modeli ön eğitimini ve kelime dağarcığı ile lehçe kapsamının genişletilmesini desteklemektedir.
Belge ve Taranmış Metin Külliyatları
Gerçek dünyadan taranmış belgeler ve yapılandırılmış formlar, sentetik görüntüler yerine otantik düzenlerde ve tarama kalitesinde PDF olarak sunulur. Özellikle düzenin metin kadar anlam taşıdığı anahtar-değer ve tablo halindeki belgelerin anlaşılması için belge yapay zekasını, OCR'ye yakın doğal dil işlemeyi ve bilgi çıkarımını desteklerler.
Akademik ve Yayıncı Metin Veri Kümeleri
Akademik bir yayıncıdan lisanslanan ve API aracılığıyla sunulan, fizik bilimleri ve mühendislik alanlarında on iki farklı konuyu kapsayan tam metin kitaplar ve dergi makaleleri: astronomi, biyomedikal, inşaat, elektrik ve elektronik, enerji, endüstriyel, malzeme bilimi, mekanik, nanoteknoloji, fizik, polimer bilimi ve güvenlik yönetimi. Bunlar, hakemli kaynak materyaller üzerinden bilimsel ve teknik ön eğitim ve bilgiye erişim için uygundur.
Senaryolu Eğlence ve Anlatı Metni
Geniş bir senaryolu eğlence kataloğundan derlenen yapım senaryoları, metin dökümleri ve anlatı metinleri; uzun metrajlı filmler, televizyon dizileri, animasyonlar ve kısa dramalar dahil olmak üzere drama, komedi, bilim kurgu, western, aksiyon, gizem, romantizm, gerilim ve dini türleri kapsar. Anlatı ve diyalog oluşturmayı, senaryo formatı modellemesini ve senaryo-sahne uyumunu destekler.
Sıkça Sorulan Sorular (SSS)
1. Yapay zekâ eğitimi için metin veri kümeleri nelerdir?
Yapay zekâ eğitimi için metin veri kümeleri, soru-cevap çiftleri, talimatlar, makaleler, kodlar, klinik kayıtlar, kitaplar ve senaryolar gibi yazılı dilin derlenmiş koleksiyonlarıdır ve büyük dil modellerini (LLM'ler) ve doğal dil işleme (NLP) sistemlerini ön eğitmek, ince ayar yapmak ve değerlendirmek için kullanılır. Shaip'in metin veri kataloğu, her biri gerçek dünya materyallerinden elde edilen sekiz kategoride lisanslanmaya hazır veri kümeleri sunmaktadır.
2. Shaip ne tür metin veri kümeleri sunuyor?
Katalog sekiz kategoriyi kapsar: konuşma tabanlı soru-cevap ve talimat veri kümeleri, kod ve yazılım deposu veri kümeleri, haber ve gazetecilik metinleri, klinik soru-cevap ve vaka veri kümeleri, ham metin ve web ölçekli veri kümeleri, taranmış belge veri kümeleri, akademik ve yayıncı metinleri ve senaryolu eğlence ve anlatı metinleri.
3. Hangi diller ve lehçeler kapsanmaktadır?
Veri setleri İngilizce, Arapça ve İspanyolca dillerinde mevcuttur. Arapça kapsamı, Modern Standart Arapça'nın yanı sıra Suudi, Birleşik Arap Emirlikleri, Mısır ve Levant lehçelerini de içerir; bu da Modern Standart Arapça'yı iyi işleyen ancak bölgesel konuşma varyantlarıyla mücadele eden modellere yardımcı olur.
4. Bu veri kümeleri hangi yapay zeka kullanım alanlarını destekliyor?
Yaygın kullanım alanları arasında LLM ön eğitimi, talimat ayarlama ve ince ayar, model değerlendirme ve kıyaslama, bilgi edinme ile güçlendirilmiş üretim (RAG), kod tamamlama ve kod inceleme, sağlık hizmetleri yapay zekası, belge yapay zekası ve bilgi çıkarma, diyalog ve senaryo üretimi yer almaktadır.
5. Bir veri setini lisanslamadan önce değerlendirebilir miyim?
Evet. Veri setini lisanslamadan önce örnekler veya değerlendirme erişimi sağlanabilir, böylece ekibiniz uygunluğu, formatı ve kalitesini kontrol edebilir. İlgili kategoriden bir örnek talep etmek için kullanım durumunuzla ilgili olarak bizimle iletişime geçin.
6. Kişisel tanımlayıcı bilgiler (PII) ve sağlık bilgileri (PHI) gibi hassas veriler nasıl ele alınır?
Kaynak materyalde kişisel olarak tanımlanabilir veya korunan sağlık bilgileri (klinik veriler gibi) yer alıyorsa, verilerin gizlilik ve uyumluluk gereksinimlerinizi karşılaması için sansürleme, kimliksizleştirme ve maskeleme işlemleri de hizmet kapsamına dahil edilir.
7. Altın ve gümüş veri kümeleri arasındaki fark nedir?
Altın veri kümeleri daha yüksek bir inceleme standardına göre hazırlanır ve kıyaslama ve değerlendirme için en uygun olanlardır. Gümüş veri kümeleri standart bir incelemeden geçer ve hacmin daha önemli olduğu büyük ölçekli eğitimler için uygundur.
8. Veri kümeleri özelleştirilebilir veya genişletilebilir mi?
Evet. Veri kümeleri, dil, alan, hacim veya format açısından projenize göre özelleştirilebilir. Katalog ihtiyaçlarınızı karşılamıyorsa, Shaip sizin belirttiğiniz özelliklere göre özel metin verileri toplayabilir ve bunlara açıklamalar ekleyebilir.
9. Hangi lisanslama seçenekleri mevcuttur?
Lisanslama, veri kümesi, hacim, kullanım amacı ve süreye bağlı olarak her bir proje için özel olarak belirlenir. Haber içeriği gibi bazı veri kümeleri hem düzenli akış halinde hem de tek seferlik arşiv verisi olarak sunulmaktadır.
10. Veri setleri nasıl teslim ediliyor?
Teslimat, veri setine bağlıdır. Seçenekler arasında yapılandırılmış dosyalar, taranmış belgeler için PDF'ler, haberler için düzenli akışlar ve akademik ve yayıncı içeriği için API teslimatı yer almaktadır. Teslimat formatı, eğitim sürecinizle uyumlu hale getirilebilir.
11. Metin veri setlerinin maliyeti ne kadar?
Fiyatlandırma, kategoriye, hacme, münhasırlığa ve lisanslama koşullarına bağlıdır. Projenize özel bir fiyat teklifi almak için gereksinimlerinizi ekibimizle paylaşın.
12. Nasıl başlarım?
Kullanım durumunuza uygun kategoriye göz atın, ardından gereksinimlerinizle birlikte Shaip ile iletişime geçin. Ekibimiz veri seti ayrıntılarını paylaşacak, örnekler ayarlayacak ve projeniz için bir lisans belirleyecektir.
