Otonom Sürüş için 3D LiDAR Sınır Kutusu İşaretlemesi
Shaip'in, otonom araçların üretim ölçeğinde algılaması için 2D görüntülerle kalibre edilmiş tek karelik nokta bulutu verileri üzerinde, kare başına ~53 kutu ile 14 nesne sınıfı genelinde hassas 3D küp şeklindeki sınırlayıcı kutu işaretlemesini nasıl sağladığı.
Projeye Genel Bakış
Otonom sürüş algılama teknolojisi üretim aşamasına doğru ilerlerken, müşteri, gerçek otonom araç eğitim verileri için gereken yoğunlukta hassas küp şeklindeki sınırlayıcı kutuları yerleştirebilen, çoklu öznitelik etiketleme ve 2B görüntü kalibrasyonu yapabilen son derece uzmanlaşmış bir 3B LiDAR açıklama hattına ihtiyaç duyuyordu.
Shaip, 3 boyutlu küp yerleştirme, varsayılan boyut uygulama, çoklu öznitelik etiketleme, çevresel uç durum işleme ve referans görüntü doğrulamasını kapsayan uçtan uca açıklama işlem hattını oluşturarak 14 nesne sınıfı genelinde modele hazır AV algılama veri kümeleri sağladı.
Anahtar Durumu
Nesne Sınıfları
14
Çerçeve başına kutu sayısı
~ 53
Nitelik Katmanları
5
Oklüzyon Seviyeleri
4
Meydan Okumalar
- Yerleştirme Kare başına yaklaşık 53 adet 3 boyutlu dikdörtgen prizma kutu. nokta bulutu kenarlarına tam ve sıkı bir şekilde oturarak
- kullanma 14 nesne sınıfı araçlar, yayalar, hayvanlar ve hareketli nesneler arasında
- Çalışma 2D kalibrasyon görüntüleri ve 3D nokta bulutu ile eş zamanlı olarak veri
- Yönetme Hayalet nokta bulutları, yer yansımaları, sis, pus ve su sıçramaları
- Bağlayıcılığı sınıf başına varsayılan boyutlar çerçeveler arası tutarlılık için
Çözüm
3B Dikdörtgen Prizma Yerleştirme İş Akışı
Veri etiketleyiciler, 2 boyutlu kalibrasyon görüntüsü referansıyla eş zamanlı olarak tek karelik nokta bulutu verilerine hassas 3 boyutlu dikdörtgen prizma şeklinde sınırlayıcı kutular yerleştirdi. Her sınıf, kareler arasında boyut tutarlılığını sağlamak için tanımlanmış varsayılan sınırlayıcı kutu boyutlarıyla birlikte geldi: otomobiller 3.4–5.1 m, kamyonlar 3.4–14 m, yayalar 0.4–1.2 m genişliğinde.
Çoklu Nitelik Etiketleme
Sınır kutusu yerleştirmenin ötesinde, etiketlenmiş her nesneye araç durumu (sürüş/park halinde), iki tekerlekli araç durumu (yolcu ile/yolcusuz), yaya durumu (ayakta/oturma/yatma), tıkanma durumu (4 seviye: yok, kısmi, çoğu, tam) ve uç noktalar durumu (çıkıntılı nesneler, açık kapılar, takılı ekipman) gibi öznitelik etiketleri eklendi.
Çevresel Uç Durumların Ele Alınması
Aşırı derecede örtülü veya uzaktaki nesnelerin, çift LiDAR kalibrasyon hatasından kaynaklanan hayalet nokta bulutlarının, yer yansımalarının ve su sıçramaları, sis ve pus gibi çevresel gürültünün işaretlenmesinde katı kurallar uygulandı. Yan aynalar, açık kapılar, vinç kolları, tavan bagajları ve yaya bagajları açıkça hariç tutuldu; acil durum sirenleri ve kamyon kasası konteynerleri dahil edildi.
Sıkı Kutu Uyumu Doğrulama
Kutuların, görünür boşluklar minimum düzeyde olacak şekilde nokta bulutu kenarlarına sıkıca oturması gerekiyordu. Yönlendirme, kalibrasyon verileri ve nokta bulutlarının belirsiz olduğu durumlarda şerit bağlamı aracılığıyla doğrulandı. Gece ve yağmurlu sahneler, açıklama tutarlılığı için gündüz koşullarına eşdeğer olarak ele alındı.
Çapraz Modlu Kalite Güvencesi
Tüm açıklamalar, doğru boyutlandırma ve yönlendirmeyi doğrulamak için referans 2B görüntülerle karşılaştırıldı. Bu çapraz modlu kalite kontrol katmanı, yalnızca nokta bulutundan görülemeyecek hizalama hatalarını yakalayarak, sonraki AV algılama modeli eğitiminde üretim kalitesinde doğruluk sağladı.
Proje kapsamı
| Veri Kümesi Türü | Sınıflar | Kutular/Çerçeve | Özellikler | Oklüzyon Seviyeleri | Onaylama |
|---|---|---|---|---|---|
| 3D LiDAR AV algılama | 14 | ~53 ortalama | 5 özellik katmanı | 4 (%0–100) | 2B görüntü çapraz kontrolü |
Çıktıları
- Kurulmuş bir yoğun 3D LiDAR açıklama işlem hattı Üretim hassasiyetinde çerçeve başına yaklaşık 53 kutu ile
- Standardize 14 sınıflı nesne ontolojisi sınıf başına varsayılan boyut zorunluluğu ile
- teslim 5 özellik katmanı 4 seviyeli oklüzyon sınıflandırması dahil
- uygulanan çapraz modlu kalite güvencesi 3 boyutlu kutuların 2 boyutlu kalibrasyon görüntülerine karşı doğrulanması
- Müşterinin etkinleştirilmesi otonom araç algılama, ADAS ve kendi kendine sürüş model eğitimi
Genel olarak, Shaip, karmaşık bir 3D LiDAR algılama gereksinimini, otonom sürüş, ADAS, robotaksi ve sürücüsüz kamyon geliştirme süreçlerini zorlu gerçek dünya koşullarında kalibrasyon düzeyinde doğrulukla destekleyebilen, yapılandırılmış ve üretime hazır bir açıklama hattına dönüştürmeye yardımcı oldu.
Shaip, çoğu açıklama işlem hattını bozan AV uç durumlarını (sis, hayalet nokta bulutları, yoğun örtüşme ve kare başına ~53 kutu) ele aldı. 2D-3D çapraz doğrulamaları bize güvenebileceğimiz algılama eğitim verileri sağladı.
