Gerçek Dünya Benmerkezci Video Verileriyle Yapay Zekayı Geliştirme
Ev ve endüstriyel ortamlarda kaydedilen ölçeklenebilir videolarla insan aktivitesi tanıma, robotik ve el-nesne etkileşimi modellerini mümkün kılmak.
Projeye Genel Bakış
Müşteri, yüksek kaliteli, kişisel odaklı video verileri için ölçeklenebilir bir veri toplama programı oluşturmak amacıyla Shaip ile ortaklık kurdu. Katılımcılar, alın hizasında güvenli bir şekilde yerleştirilmiş mobil cihazlar kullanarak gerçek ev ve endüstriyel faaliyetleri kaydedeceklerdi.
Amaç, aşağıdaki amaçlara yönelik model eğitimine uygun, çeşitli ve doğal bir video veri seti oluşturmaktı:
- Karmaşık insan faaliyetlerini ve görev dizilerini tanımak
- El-nesne etkileşimlerini yorumlayın
- Gerçek dünyadaki ev ve işyeri ortamlarını anlayın.
- Robotik ve somutlaştırılmış yapay zeka uygulamalarını destekleyin.
- Modelin farklı konumlar, cihazlar, nesneler ve çalışma koşulları genelinde genelleme yeteneğini geliştirin.
Bu çalışmada doğal görev performansı, istikrarlı kamera konumlandırması, kesintisiz uygulama, katılımcıların onayı ve titiz kalite doğrulaması vurgulandı.
Egosantrik Video Veri Kümesi: Temel Özellikler
Veri Hacmi
30,000 saat veri toplandı, 24,000+ saat veriye not eklendi.
Katılımcı Kapasitesi
Katılımcı başına en fazla 100 onaylı video saati
Onaylanmış Cihazlar
iPhone 11+, Google Pixel 6+ ve Samsung Galaxy S21+
Coğrafi Kapsama
Amerika Birleşik Devletleri ve Latin Amerika
Aktivite Ortamları
Ev, endüstriyel ve ticari ortamlar
Egomerkezci Video Veri Toplamada Karşılaşılan Zorluklar
- Doğal İnsan Davranışlarını Yakalamak: Katılımcıların yapmacık, abartılı veya robotik hareketler sergilemeden gerçekçi faaliyetler gerçekleştirmeleri gerekiyordu.
- Birinci Kişi Bakış Açısını Korumak: Hem eller, hem çalışma alanı, hem de ilgili nesneler, görevin aktif olarak yerine getirilmesi boyunca görünür durumda kalmalıydı.
- Kamera Dengesini Kontrol Etme: Başlık şeklinde takılan mobil cihazların, minimum düzeyde sallanma, aşırı eğilme veya engelleme olmadan güvenli bir şekilde yerinde kalması gerekiyordu.
- Çeşitli Ortamlarda Veri Toplama: Veri seti, konut, sanayi, perakende, otelcilik, tarım, inşaat ve hizmet sektörlerinden gerçek görüntüler gerektiriyordu.
- Boşta Geçen veya Görev Dışı Görüntüleri En Aza İndirmek: Kaydedilen çalışmalarda, sınırlı duraklamalar ve gereksiz hareketler olmaksızın, kesintisiz ve amaçlı bir çalışma sergilenmesi gerekiyordu.
- Yetkilendirme ve Onayın Sağlanması: Her katılımcı ve kayıt yeri için gerekli izin, onay ve uyumluluk doğrulaması yapılmıştır.
- Kaliteden Ödün Vermeden Ölçeklendirme: Büyük miktardaki görüntülerin hızlı bir şekilde incelenmesi, net ret gerekçelerinin belirlenmesi ve verimli yeniden çekim iş akışlarının oluşturulması gerekiyordu.
Shaip, ego merkezli video verilerini nasıl topladı?
Koleksiyon Stratejisi
Shaip, gerçekçi ev içi, ticari ve endüstriyel faaliyetleri kapsayan esnek bir çerçeve tasarladı. Katılımcılar, önceden hazırlanmış senaryoları takip etmek yerine, doğal rutinleriyle uyumlu görevler seçtiler.
Katılımcı Oryantasyonu
Amerika Birleşik Devletleri ve Latin Amerika genelindeki katılımcılara görev seçimi, cihaz gereksinimleri, kamera yerleşimi, onay ve yasaklı çekim koşulları konularında eğitim verildi.
Mobil Video Koleksiyonu
Kayıtlar, onaylanmış bölgeler içinde yapıldığını doğrulamak için otomatik gönderim ve konum doğrulama özelliklerine sahip özel bir mobil uygulama aracılığıyla yapıldı.
Kafa Üstü Kamera Kurulumu
Onaylı akıllı telefonlar, katılımcının ellerini, nesneleri, çalışma alanını ve hareketsizken ayak parmaklarını görünür tutmak için alın hizasında güvenli bir şekilde yerleştirildi ve yaklaşık 45° aşağıya doğru açıyla konumlandırıldı.
Doğal Görev Yürütme
Katılımcılar, ayakta durarak veya yürüyerek ve aletler, ekipmanlar ve günlük nesnelerle doğal bir şekilde etkileşim kurarak sürekli, amaçlı faaliyetler gerçekleştirdiler.
Kalite Doğrulaması
Her kayıt, kamera stabilitesi, aydınlatma, odaklama, el-nesne görünürlüğü, görev sürekliliği, duruş, ortam ve yetkilendirme açısından kontrol edildi.
Hızlı İnceleme ve Yeniden Yakalama
Gönderilen çalışmalar bir gün içinde incelendi. Açık ve net ret gerekçeleri, katılımcıların görüntüleri hızla düzeltip yeniden kaydetmelerini sağladı.
Yönetim Kontrolleri
Onay, konum yetkilendirmesi, güvenli gönderim, konum doğrulama ve fikri mülkiyet devri iş akışına entegre edildi.
Proje Kapsamı ve Faaliyetleri
| Veri Segmenti | Temsili Faaliyetler | Yakalama Gereksinimleri |
|---|---|---|
| Ev İçi Aktiviteler | Çamaşır yıkama, oda düzenleme, mutfak temizliği, evcil hayvan bakımı, bitki bakımı, bahçe işleri ve ev bakımı. | Ayakta veya yürüyerek; doğal bir şekilde icra; eller ve çalışma alanı görünür durumda. |
| Depo ve Lojistik | Paketleme, ayırma, stok yönetimi, denetim ve malzeme taşıma. | Sürekli görev aktivitesi sırasında stabil kafa üstü kayıt. |
| Ticari ve Konaklama | Temizlik işleri, oda düzenleme, perakende ürün yerleştirme ve yiyecek-içecek servisindeki mutfak faaliyetleri. | Yetkilendirilmiş kayıt konumu ve net nesne etkileşimi. |
| Endüstriyel Faaliyetler | Hafif imalat, montaj, ekipman bakımı ve üretim süreçleri. | Uygun izinlerle gerçek iş yeri uygulaması. |
| Tarım ve Peyzaj | Arazi bakımı, bahçecilik, tarım işleri ve açık alanda malzeme taşıma. | Yeterli aydınlatma, sağlam çerçeveleme ve güvenli görev yürütme. |
| Nitelikli Meslekler ve Saha Hizmetleri | İnşaat, otomotiv servis, onarım, montaj ve saha bakımı. | Aletlerin, ellerin, bileşenlerin ve çalışma alanının net bir şekilde görülebilmesi. |
Kalite Çerçevesi
Kayıtlar şu nedenlerle reddedildi:
- Engellenmiş, aşırı eğimli veya dengesiz kamera görüntüleri
- Düşük ışık, zayıf odaklama, belirsiz görüş
- Uzun bekleme süreleri veya görev dışı görüntüler
- Yapay, kurgulanmış veya robotik infaz
- Aşırı baş, el veya vücut hareketleri
- Aktif kavrama ve bırakma işlemlerinin %10'undan fazlasında eller çerçevenin dışında kalıyor.
- Yetkisiz kayıt yerleri
- Katılımcı onayının eksikliği
Başarılı bir kayıt için şunlar gerekiyordu:
- Ev veya endüstriyel ortamlardaki otantik görüntüleri yakalayın.
- İstikrarlı bir birinci şahıs bakış açısını koruyun.
- Ellerinizi, nesneleri ve çalışma alanını görünür halde tutun.
- Sürekli ve bilinçli faaliyet gösterin.
- Onaylanmış cihaz ve kamera konumlandırma gereksinimlerini karşılayın.
- Aktivite tanıma ve robotik algılama içeren yapay zeka eğitimine uygun olmalıdır.
Sonuçlar: Robotik Uygulamalara Hazır Benmerkezci Video Verileri
- Orijinal Aktivite Verileri: Doğal görev yürütme, insan hareketlerini, el-nesne etkileşimlerini ve işlem dizilerini yakaladı.
- Ölçeklenebilir Veri Kümesi Genişletme: Her katılımcı en fazla 100 saat onaylı veri sağlayabilirken, nesneler, araçlar, konumlar, aydınlatma ve görev dizilerindeki varyasyonlar veri kümesi çeşitliliğini artırarak programı tahmini 30,000 saatlik egosantrik video verisine ve model eğitimi için onaylanmış 24,000+ saatlik veriye kadar genişletti.
- Robotik Uygulamaya Hazır Bağlam: Sabit birinci şahıs çekimler, ellerin, nesnelerin, ekipmanların, çalışma alanlarının ve görev ilerlemesinin net bir şekilde görülmesini sağladı.
- Hızlı Kalite Müdahalesi: Bir günlük inceleme döngüleri, hızlı geri bildirim, düzeltme ve yeniden yakalama olanağı sağladı.
- Coğrafi ve Cihaz Çeşitliliği: Apple, Google ve Samsung onaylı cihazlar kullanılarak ABD ve Latin Amerika genelinde gerçekleştirilen koleksiyon, pratik çevresel ve donanımsal çeşitlilik sunmuştur.
- Bütünleşik Yönetişim: Onay, yetkilendirme, konum doğrulama, güvenli gönderim ve kalite kontrolleri program boyunca entegre edildi.
Ortaya çıkan bu veri toplama yaklaşımı, insan eylemini operatörün bakış açısından anlayan ve daha güvenilir şekilde çalışan yapay zeka sistemleri oluşturmak için güçlü bir temel sağlar.
Shaip'in benmerkezci video toplama konusundaki yapılandırılmış yaklaşımı, yapay zeka eğitim programımız için gereken ölçeği, kalite kontrollerini ve gerçek dünya çeşitliliğini bize sağladı. Hızlı inceleme iş akışı ve ayrıntılı yakalama standartları, aktivite tanıma ve robotik modellerini geliştirmek için güvenilir bir temel oluşturdu.
