Development of AI-based Multi-action Detection System for multiple patients using Day-Night Omnidirectional Cameras

使用日夜全向摄像机开发基于人工智能的多位患者多动作检测系统

• 批准号: 21K18109
• 负责人: 今渕 貴志
• 金额: $ 2.83万
• 依托单位: Japan Atomic Energy Agency
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K18109/
• 关键词: Omnidirectional camera; Human pose estimation; Behavior analysis; Deep learning; 全方位カメラ; モニタリング; 行動検知; 3次元関節推定

本研究では、医療現場において患者のアクシデントにつながる行動を自動的にモニタリングすることを目的として、赤外線全方位型カメラを採用して取得したパノラマ画像から複数人物の3次元関節情報を推定し、各関節の時系列の変動から特定の行動を推定するシステムの研究開発を行なっている。令和4年度は、前年度に引き続き、プロトタイプシステムの開発および行動推定手法の開発に取り組んだ。プロトタイプシステム全体の小型化のために、組込ボードおよび産業用カメラが一体となったGPU (Graphics Processing Unit) 搭載型エッジデバイスを用いて各手法の実装を試みた。ここで、単眼全方位カメラから複数人物の3次元関節位置推定を行う手法についての開発に取り組み、性能確認のために市販の3次元カメラセンサによる3次元関節位置計測結果との比較を行なった。行動推定手法においては、前年度に構築した学習済モデルによる推論モジュールを組込デバイス上に実装するとともに、オンラインで推論を行う仕組みについての開発を行なった。また、今後の行動推定手法の頑健性向上および高速化の観点から最新の深層学習モデルの調査を行なった。さらに、携帯端末との連携機能の実現に向けて、通信モジュール、結果可視化ソフトウェアについての開発に着手した。当該プロトタイプシステムを用いた性能評価実験では、複数人物を対象として複数行動データの計測を行い、学習を適用したネットワークに対する汎化性能について評価を行った。また、オンライン推論の動作検証を行なった。

在这项研究中，我们正在进行一个系统的研究和开发，该系统估算了使用红外全向相机获取的全景图像的3D联合信息，并估算了每个关节的时间序列变化的特定行为，其目的是自动监测医疗环境中患者中心的行为。在2022年，就像上一年一样，我们致力于开发原型系统和行为估计方法。为了使整个原型系统微型化，我们尝试使用GPU（图形处理单元）安装的边缘设备实现每种技术，该设备将嵌入式板和工业摄像头组合在一起。在这里，我们致力于开发一种方法，用于从单眼全向相机中估算多个人的三维关节位置，并将它们与使用市售的3维相机传感器的3维关节位置测量结果进行了比较，以确认性能。在行为估计方法中，我们使用上一年在嵌入式设备上构建的训练有素的模型实施了推理模块，并开发了一种用于在线进行推理的机制。此外，我们从改善鲁棒性并加快未来行为估计方法的角度研究了最新的深度学习模型。此外，为了实现与移动设备的链接函数，我们已经开始开发通信模块和结果可视化软件。在使用原型系统的绩效评估实验中，测量了多个人的多个行为数据，并评估了应用学习的网络的概括性能。此外，在线推理操作得到了验证。

项目成果

全方位型アクシデントモニタリングシステムのための深層学習を用いた行動検知

利用深度学习进行行为检测的全方位事故监控系统

• 发表时间: 2022
• 作者: 今渕 貴志;プリマ・オキ ディッキ・アルディアンシャー
• 通讯作者: プリマ・オキ ディッキ・アルディアンシャー