High frame rate and ultra-Low delay video sensing system for interactive applications

适用于交互式应用的高帧率和超低延迟视频传感系统

基本信息

批准号：
21K11816
负责人：
池永剛
金额：
$ 2.66万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K11816/
关键词：
映像認識超低遅延システムハードウェアアーキテクチャハフ変換 LK法サブピクセル変位測定法映像センシング超高速超低遅延システム FPGA FA検査マンマシンI/F 深層学習映像認識システム FPGAアーキテクチャ実時間画像処理

项目摘要

インタラクティブ応用のための次世代映像センシングのコアとなる、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術創出を行うことを目的として、様々な映像センシングシステム実現の鍵となる、画像の特徴を用いたマッチング、追跡、分類等の基本処理に対し、実環境下で高い精度が得られる超高速・超低遅延向き映像認識アルゴリズム構成法とそれに基づくハードウェアアーキテクチャの実現を目指した取り組みを行なった。マッチング処理に関しては、周波数領域でのサブピクセルマッチングを可能とする独自のDCT手法として、特徴融合ベースの方向符号のみの相関やフィッティングのないサブピクセル変位測定法などを提案し、FPGA上に実装する事により、0.75msで処理可能な事を実証した。また、適応的なアドレス選択や投票値を遅延なく初期化する手法などの独自提案により、直線検出を可能とするハフ変換を0.77msで処理可能な事を実証した。一方、追跡処理に関しては、LK (Lucas Kanade) 法の繰り返し処理を時間方向に展開する事により、1000fpsで、サブピクセルレベルの追跡を可能とする手法を実証した。さらに分類処理に関しては、深層学習を用いた果物を対象とした欠陥検出を高精度化つ超低遅延処理を可能とするアルゴリズムを検討し、1ms実装の見通しを得た。さらに将来の応用を睨んだ関連技術として、深層学習に基づく人物姿勢推定などに関する検討を行なった。以上の関連成果を５件の原著学術論文、および９件の国際会議（その内３件は、Best Presentation Awardを受賞）にて発信した。また、関連企業との技術交流を積極的に行い、今後、これらの技術を産業につなげていく上で重要となる方向性に関して多くの知見を得た。

我们的目标是创造实现超高速（1000fps）、超低延迟（1至2毫秒）图像识别系统的基础技术，这是交互式应用的下一代图像传感的核心，用于诸如基本处理等。作为实现传感系统的关键，利用图像特征进行匹配、跟踪和分类，我们将开发一种在真实环境中实现高精度的超高速、超低延迟的视频识别算法配置方法，以及在此基础上对硬件架构进行了努力。在匹配处理方面，我们提出了一种独特的DCT方法，可以在频域中进行亚像素匹配，例如基于特征融合的仅方向码相关性和无需拟合的亚像素位移测量方法，并在FPGA上实现。证明可以在 0.75ms 内处理。此外，通过使用自适应地址选择和无延迟初始化投票值的方法等独特的建议，我们证明了可以在 0.77ms 内处理能够实现直线检测的霍夫变换。另一方面，关于跟踪处理，我们演示了一种通过在时间方向上扩展LK（Lucas Kanade）方法的迭代处理来实现1000 fps的子像素级跟踪的方法。此外，在分类处理方面，我们研究了一种利用深度学习高精度检测水果缺陷并实现超低延迟处理的算法，并获得了在1毫秒内实现的前景。此外，我们还研究了基于深度学习的人体姿势估计作为相关技术，着眼于未来的应用。上述相关成果以五篇原创学术论文和九个国际会议的形式传播（其中三篇获得最佳演讲奖）。此外，我们还积极与相关企业进行技术交流，了解了未来这些技术与产业对接的重要方向。