首頁 > 運動

重磅｜歐卡智舶釋出無人船視角下內河漂浮垃圾資料集

由船艇資訊發表于運動2023-01-16

簡介FloW-RI則包含4000幀的同步的影象和毫米波雷達資料，以支援基於融合的水面漂浮垃圾檢測相關研究

是以什麼水面資料作為

歐卡智舶技術專題釋出

最近，歐卡智舶聯合

世界領先的AI專家和深度學習先驅、圖靈獎得主Yoshua Bengio的Mila實驗室、清華大學、西北工業大學的研究人員，釋出城市水域漂浮垃圾檢測資料集。

公開由歐卡智舶無人駕駛清潔船在多天氣條件、多城市水域中執行清潔工作時，船身感測器收集的多樣本水面漂浮垃圾形成

FloW

資料集

—

全球第一個無人船視角的水面漂浮垃圾檢測資料集

。

透過發表FloW資料集，我們希望能引起人們對水域及內河漂浮垃圾汙染問題的關注，同時吸引更多研究者參與到無人船與水面漂浮垃圾檢測相關研究中來，

為相關研究者提供一個平臺和基準，推動

水面漂浮垃圾檢測技術快速發展

。

資料集相關論文

FloW： A Dataset and Benchmark for Floating Waste Detection in InlandWaters

已發表至

IEEE International Conference onComputer Vision 2021 （ICCV 2021）

。

視覺檢測系統的技術背景

近年來，愈發嚴重的

海洋塑膠垃圾

汙染引發人們對這一問題的關注。海洋垃圾給海洋生物的生存帶來較大威脅，造成的汙染隨著生態迴圈進而

危害整個生態系統

。有大量的海洋垃圾，來自於陸地，經過內陸河道，最終流入海洋。因此，清潔內陸水域，如運河、河流、湖泊和海灣環境中的漂浮垃圾，是減緩海洋垃圾增長、防治水汙染問題的重要方法。

海洋垃圾

內河垃圾堆集

傳統的內河垃圾清理往往依賴於

人工打撈

，這種方式往往

效率較低

，且水面人工作業還需要考慮

安全性

等問題，並非河道垃圾清理的最佳選擇。相比人工作業，近年來逐步發展

的

水面清潔無人船

，可以實現

全天候、自主化作業

，同時可以在一些人工難以到達的危險區域進行作業，能有效地提升清潔效率。

TITAN清潔垃圾

人工撈垃圾

SMURF收集垃圾

無人船漂浮垃圾清潔效率

依賴於準確、實時的漂浮垃圾檢測系統

。隨著計算機視覺和深度學習的發展，視覺影象提供的資訊能被較為充分地利用起來。因此，

基於視覺的漂浮垃圾檢測可能是目前

最為經濟、高效的檢測方案

。

當前的技術問題？

然而，塑膠瓶和易拉罐等

漂浮垃圾的

體積較小

，當其與平臺間的距離擴大時，大部分漂浮廢物佔據的影象面積會變得很小。對於基於深度神經網路的物體檢測，與大目標相比，小目標通常缺乏足夠的外觀資訊，無法提取其深度特徵，檢測難度會提升很多，難以將其與背景區分，也難以實現準確的定位。

除了“小”之外，複雜的

內河場景環境

，也給基於視覺的檢測方法帶來了挑戰。例如，河岸上

物體的反射，水面的波浪

，以及其他

無害的漂浮物

等會

干擾視覺檢測系統

，造成錯檢。同時，水面上的強烈反光造成的眩光，可能會遮蔽真實目標，造成漏檢。因此，在實際應用中，基於視覺的漂浮垃圾檢測仍

面臨著諸多問題

。

水面倒影干擾

待檢測目標較小

其他漂浮物干擾

水面反光干擾

基於單個視覺感測器的漂浮垃圾檢測面臨著環境帶來的諸多挑戰，而感測器融合則有利於提高自動駕駛系統的適應性。隨著毫米波電路技術的發展和訊號處理演算法的提升，77GHz毫米波雷達逐漸被應用於自動駕駛感知系統的目標檢測中。與相機相比，毫米波雷達對天氣和光照條件更為魯棒；此外，雷達資料還可以直接反映目標位置，且對RCS達到一定值的小目標，稍遠距離的探測相對視覺也更為穩定。對於漂浮垃圾檢測，

毫

米波雷達資料能為視覺檢測提供很好的補充

。

FloW資料集是什麼？

開放的資料集有利於推動相關研究的發展，同時也為不同方法效能的評估提供基準。目標檢測領域中的COCO和pascalVOC等資料集有效支援了基於視覺的目標檢測方案的發展。為了吸引人們對內河漂浮垃圾清理的關注，同時支援水面小目標檢測相關研究，我們採集併發布了

FloW資料集是什麼？

——

FloW資料集是什麼？

。

FloW資料集和其他垃圾檢測資料集的對比

FloW資料集由影象子資料集FloW-Img，和多模態子資料集FloW-Radar-Img（FloW-RI）組成。FloW-Img包含

FloW資料集

，小目標（Area< 32*32）佔其中的一半以上。除了標註的影象，在FloW-Img中，我們還提供了200個未標註的影片序列，以支援對水面漂浮垃圾追蹤的相關研究。FloW-RI則包含4000幀的同步的影象和毫米波雷達資料，以支援基於融合的水面漂浮垃圾檢測相關研究。資料集採集於不同的光照和波浪條件下，在不同方向和視角上對目標進行觀測。

全球第一個無人船視角的水面漂浮垃圾檢測資料集

我們在無人船上，搭載了HDR相機與毫米波雷達進行資料採集，以平衡照明，以獲得更清晰的影象。HDR相機（AR0230）捕獲影象

2000張影象和5271個標記目標

FLoW資料集採集及標註

；毫米波雷達為TI 77GHz FMCW AWR1843雷達。在採集資料集的過程中，我們考慮到了場景、視角、光照條件等多樣性。

FloW資料採集平臺

對FloW-Img資料集，我們採集了10Hz影象資料，進而對其進行降取樣，並刪除模糊影象，得到最終的資料集。對FloW-RI資料集，我們同時採集了影象和毫米波雷達資料並進行了同步，在我們設計的雷達波形下，毫米波雷達資料距離

解析度為1280×72

，

解析度為0.0349m

，

最大感知距離為14.5m

，我們儲存了毫米波雷達資料中的距離-多普勒矩陣（RDM）和對應的毫米波雷達點雲。

對FloW-Img資料集，我們使用LabelImg工具進行標註。對FloW-RI資料集，由於RDM不像影象一樣可以直接反映目標的分佈，而是給出目標的距離和多普勒速度，RDM中難以進行資料的標註。在這種情況下，對於RDM的註釋，我們採取了以下步驟。

FloW-RI雷達RDM標註：在第一張影象中，RDM影象上的紅點標記了低CFAR閾值下的檢測結果；第二張影象顯示了投影在RGB影象上的解析出來的點雲，並對真實目標點進行了標註（由綠色框框）；最後一張影象中的紅點標記了最終的真實目標單元格。

首先，我們為RDM設定了一個相對較低的檢測閾值，並使用到達角（DOA）估計來生成四維雷達點雲；接著，利用相機和雷達之間的外參標定結果，我們將雷達點雲投影到影象平面上；而後，我們將所有點雲投影到影象上時，可以參照影象，對雷達點雲進行標註；最後，我們找到標註的雷達點雲對應的RDM中的單元格，該單元格則被視為RDM中真實目標單元格。

速度解析度為0.03m/s

FloW-Img

最大感知速度為4.10m/s

，其中

FloW資料集資料情況

。我們隨機選擇

包含2000張影象

作為訓練集，其餘的作為測試集。FloW-Img資料分佈如下圖所示。可以看出，訓練和測試資料中不同大小目標的分佈較為近似。其中，小目標（size<32×32）在我們的資料集中所佔的比例最大。此外，FloW-Img資料集中還提供了200個沒有標註的影片段。可用於支援基於視覺的漂浮垃圾追蹤演算法的研究。FloW-RI資料集包含了來自21個序列的4000幀同步的影象和雷達RDM資料以及相應的雷達點雲，16段序列設定為訓練集，5段序列設定為測試集。

FloW資料分佈：每幀包含目標數以及目標占據的區域大小分佈

有5271個標記目標

我們在FloW-Img資料集上測試了6種基於視覺的目標檢測方法，每種方法在小目標（Area < 32*32）、中目標（32*32 < Area <96*96）、大目標（Area > 96*96）上檢測的PR曲線，以及每種方法檢測的FPS（GeForce GTX 1070 GPU）如下圖和表格所示。我們發現，除了目標的尺寸較小外，水面漂浮垃圾檢測還面臨幾個挑戰。首先，水面上的強烈的光反射會遮蔽目標；此外，岸邊物體的反射也會干擾檢測系統。在我們的資料集上，在上述演算法中，Cascade R-CNN在

1200張影象

，然而，CascadeR-CNN檢測幀率較低，可能無法滿足水面目標檢測的實時性要求。