Panoramic Video Panoptic Segmentation for Enhanced Perception in Autonomous Driving

Panoptik bölütleme, her piksele bir anlamsal sınıf ve sayılabilir her nesne örneğine ayırt edici bir kimlik atayarak sahnenin bütüncül bir betimini sağlar. Otonom sürüş bağlamında bu betimin yalnızca tek bir görüntüde değil, video boyunca ve aracı çevreleyen çoklu kameralar arasında da korunması gerekir. Böylece her nesne, hem zaman içinde hem de göründüğü farklı kameralar arasında tekil bir kimliği sürdürebilmelidir. Bu birleşik problem, panoramik video panoptik bölütleme olarak adlandırılmaktadır. Waymo Open Dataset: Panoramic Video Panoptic Segmentation (WOD: PVPS), bu görev için beş senkronize kamera ve global kimlik tutarlılığına sahip panoptik etiketler sunan tek açık referans veri seti ve değerlendirme platformudur. Bu değerlendirme platformu üzerine bugüne kadar yalnızca sınırlı sayıda yayımlanmış çalışma bulunmaktadır. Bu platformda, ilişkilendirme kalitesi ile ölçülen nesne kimliklerinin zaman ve kameralar arasındaki tutarlılığı, kare bazlı bölütleme kalitesinin oldukça gerisinde kalmaktadır. Bu nedenle ilişkilendirme, görevin temel zorluğunu oluşturmaktadır. Alanda üç temel boşluk varlığını sürdürmektedir: veri seti ayrıntılı biçimde analiz edilmemiştir, kimlik farkındalığına sahip nesne takibi yöntemleri bu veri setine uygulanmamıştır ve kameralar arası nesne ilişkilendirme için yeniden üretilebilir bir algoritma tanımlanmamıştır. Bu çalışmada, söz konusu boşlukları gidermek ve değerlendirme platformundaki ilişkilendirme başarımını artırmak amacıyla Pano CTVPS adı verilen üç aşamalı bir panoramik video panoptik bölütleme mimarisi geliştirilmiştir. İlk adım olarak, veri setine ilişkin ayrıntılı ve açık biçimde belgelenmiş bir analiz gerçekleştirilmiş; elde edilen bulgular sistem tasarımına yön vermek için kullanılmıştır. Birinci aşamada, her kamera Mask2Former modeli ile bağımsız olarak bölütlenmiştir. İkinci aşamada, her kamera içinde nesne kimlikleri, video örnek bölütlemesindeki tutarlı eğitim stratejisinden uyarlanan ve fiziksel olarak olanaksız eşleşmeleri reddeden bir hareket kapısı ile desteklenen kimlik farkındalığına sahip bir izleyici aracılığıyla takip edilmiştir. Üçüncü aşamada ise kimlikler, kamera kalibrasyonundan türetilen örtüşme bölgesindeki izleri ilişkilendiren ve birden fazla kameraya yayılan kimlikleri tek bir global kimlik altında birleştiren kalibrasyon temelli bir eşleştirici aracılığıyla komşu kameralar arasında bağlanmıştır. Geliştirilen mimari WOD: PVPS üzerinde değerlendirilmiş; doğrulama setinde 0,3228 ve ayrılmış test setinde 0,3187 ağırlıklı bölütleme ve izleme kalitesine (wSTQ) ulaşarak yayımlanmış panoramik temel yönteme kıyasla yaklaşık %82 oranında iyileşme sağlamıştır. Bu kazanım istatistiksel olarak anlamlıdır ve doğrulama setindeki her sahnede temel yöntemin üzerinde sonuç elde edilmiştir. İyileşme hem daha güçlü bir bölütleyiciden hem de daha başarılı kimlik ilişkilendirmesinden kaynaklanmış; ancak daha büyük katkı ilişkilendirme bileşeninden gelmiştir. Doğrulama setinde ağırlıklı ilişkilendirme kalitesi 0,0821'den 0,1736'ya çıkarak iki kattan fazla artarken, ağırlıklı bölütleme kalitesi 0,3846'dan 0,6003'e yükselmiştir. Genel olarak bu çalışma, söz konusu değerlendirme platformuna ilişkin açık biçimde belgelenmiş ilk çalışmayı sunmakta ve bu görevde en büyük kazanımların bölütlemeden ziyade ilişkilendirme aşamasından elde edildiğini göstermektedir.

Anahtar Kelime: Anlamsal bölütleme = Semantic segmentation ; Derin öğrenme = Deep learning ; Görüntü bölütleme = Image segmentation ; Video bölütleme = Video segmentation ; Yapay sinir ağları = Artificial neural networks