Study for Floating Obstacles Detection by Shipboard Cameras

船载摄像机漂浮障碍物检测研究

基本信息

批准号：
20K04956
负责人：
小林充
金额：
$ 2.75万
依托单位：
National Institute of Maritime, Port and Aviation Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本件は形状が多様・不特定な海上浮遊物のカメラによる検出を目指している。今年度はアルゴリズム調査、実装、水槽での撮影・検出実験、実船での撮影・検出実験を行った。まず、アルゴリズムについては、①AKAZE（Accelerated KAZE）特徴点検出アルゴリズムで画像からエッジやコーナーなど特徴のある部分を抜き出す②直前と現在の画像における特徴点群について、類似する特徴をもつ特徴点同士をマッチングさせリンクを定義する③座標差が大きいリンクを削除する④DBSCAN（Density-Based Spatial Clustering of Applications with Noise）クラスタリングアルゴリズムで特徴点の密度によるクラスタリングを行い、密度の薄い領域を排除し特徴点が集合している塊を障害物とする⑤障害物のBounding BoxをSORT（Simple Online and Realtime Tracking）アルゴリズムでトラッキングしIDを設定する、という処理を行い障害物の検出とトラッキングを実現するとともに、白波や光源の水面反射等の非障害物の検出を抑制できることが分かった。水槽や実海域でラジコンボートを走行させ、検出実験を行ったところ、60pixel以上の障害物影像を安定的に検出できることが分かった。比較として、YOLO v8（実験対象映像で再学習していないもの）で検出を行ったところ、出力カテゴリにboatがあるにもかかわらずほぼ全く検出しなかった。実用上の課題としては、輪郭のぼやけた障害物画像（①の処理で特徴点を抽出できない）、船体動揺や操舵などで視野が移動する場合（③で特徴点が削除されてしまう）、日光反射などで明暗ノイズが大きい場合（④のクラスタリングで排除できない）というものがある。来年度はより現実的なアルゴリズムの検討を進めていく。

该项目旨在使用相机检测海上各种且未指定形状的漂浮物体。今年我们进行了算法研究、实现，在水族馆进行了摄影和检测实验，在实船上进行了摄影和检测实验。首先，关于算法，1）AKAZE（Accelerated KAZE）特征点检测算法从图像中提取边缘和角点等显着部分。2）匹配先前和当前图像中具有相似特征的特征点③删除坐标差异较大的链接。 ④DBSCAN（基于密度的应用程序空间聚类）噪声）使用聚类算法根据特征点的密度进行聚类，消除密度低的区域，并使用特征点簇作为障碍物。 ⑤SORT（简单在线和实时跟踪）算法通过执行以下处理发现。通过跟踪并设置ID，可以检测和跟踪障碍物，也可以抑制对白浪、光源的水反射等非障碍物的检测。当我们在水族馆或实际海域中运行无线电遥控船进行检测实验时，我们发现可以稳定地检测60像素以上的障碍物图像。作为比较，当我们使用 YOLO v8（未经重新训练的实验视频）进行检测时，几乎根本没有检测到，即使船包含在输出类别中。实际问题包括轮廓模糊的障碍物图像（无法通过处理①提取特征点）、当由于船体摆动或转向而导致视野变化时（在③中删除特征点）以及阳光下出现亮度噪声的情况。由于反射而很大（无法通过 ④ 中的聚类来消除）。明年，我们将继续考虑更现实的算法。