High speed sensing of latent biological activities prior to human actions and their very early stages for accident prevention

高速感测人类行为之前的潜在生物活动及其早期阶段的事故预防

• 批准号: 20K20483
• 负责人: 熊澤 逸夫
• 金额: $ 16.64万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Pioneering)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K20483/
• 关键词: 高時間分解能光学的計測; フォトリフレクタアレイ; 危険運動・行動検知; 仮想現実; オンライン実験; 人体揺動装置; テレビ放送コンテンツ; ディープラーニング; フォトリフレクタ; 時空間信号認識; フォトトランジスタ; 赤外線LED; 時空間変調照明; 潜在生体活動; 感覚遅延; 運動遅延; 高速生体信号認識; 高速画像認識; 脳波; 筋電; 高時間分解能; 高空間分解能; 行動予測; 危険察知

前年度(2021年度)に続いて今年度も新型コロナウィルスの感染対策が10月頃まで続いたため、予定していた「人の参加を伴う実験やデータ収集」を行うことができなかった。しかしながら、昨年度に感染が続くことを見越して研究計画を変更しており、被検者に実験室に来て頂かなくとも自宅にいながらオンラインで実験に参加できるように研究計画を変更していたので、その計画に沿って今年度の研究を行った。昨年度に仮想空間でリアルな事故体験ができるようにするため、ヘッドマウントディスプレイによる映像とヘッドフォンによる３Ｄ音響、さらに衝撃や振動等の触覚情報を生成する装置を用いたオンライン実験環境を構築したので今年度もこの装置で再現する事故例について、被検者の反応をカメラや各種センサで計測して、機械学習用のデータを収集しNASに蓄積した。またまず一般的な画像データで基盤モデルを機械学習で形成し、独自に収集したデータの不足を補えるようにファインチューニングをするようにした。人に条件反射を生じさせるために体を傾けたり、揺らしたりする装置（揺動装置）が必要となることから、オンラインの実験で自宅に持ち込んで使えるような軽量小型の揺動装置を昨年度試作したが、その性能や機能を改善するために新たな装置を試作した。2020年度に制作した超高感度、超高速フォトリフレクターアレイを使って眼球運動を高速に計測して、運動準備の潜在生体活動を検知することによって人の行動を予測することを試みた。その際にメガネガラス表面からの反射が計測を邪魔することが問題となり、そのような反射を除去する手法を開発して国際会議VR2023で発表した。

延续上一财年（2021年），防止新型冠状病毒传播的措施一直持续到今年10月左右，因此我们无法进行计划中的“涉及人类参与的实验和数据收集”。不过，考虑到去年感染的持续，我们改变了研究计划，让受试者可以在家中在线参与实验，而不必来到实验室，所以今年的研究就是按照这个计划进行的。去年，为了能够在虚拟空间中体验真实的事故，我们使用头戴式显示器的图像、耳机的 3D 音频以及生成震动和震动等触觉信息的设备构建了一个在线实验环境。 2017财年，该系统还使用摄像头和各种传感器来测量测试对象对使用该设备重现的事故的反应，并收集机器学习的数据并将其存储在NAS中。此外，我们首先利用一般图像数据利用机器学习形成基本模型，然后对其进行微调以弥补独立收集数据的不足。为了诱发人的条件反射，需要一种能够倾斜和摇动身体的装置（摇动装置），因此去年我们原型设计了一种小型、轻量的摇动装置，可以带回家中用于在线实验。 ，我们设计了一款新设备原型，以提高其性能和功能。使用 2020 年创建的超高灵敏度、超高速光反射器阵列，我们尝试通过高速测量眼球运动并检测运动准备中的潜在生物活动来预测人类行为。当时，眼镜玻璃表面的反射干扰测量的问题成为一个问题，因此我们开发了一种消除此类反射的方法，并在国际会议 VR2023 上进行了展示。

项目成果

A Constrained Convex Optimization Approach to Hyperspectral Image Restoration with Hybrid Spatio-Spectral Regularization

• DOI: 10.3390/rs12213541
• 发表时间: 2020-11-01
• 期刊: REMOTE SENSING
• 影响因子: 5
• 作者: Takeyama, Saori;Ono, Shunsuke;Kumazawa, Itsuo
• 通讯作者: Kumazawa, Itsuo

Characteristics of Kinematic Parameters in Decoding Intended Reaching Movements Using Electroencephalography (EEG)

• DOI: 10.3389/fnins.2019.01148
• 发表时间: 2019-11-01
• 期刊: FRONTIERS IN NEUROSCIENCE
• 影响因子: 4.3
• 作者: Kim, Hyeonseok;Yoshimura, Natsue;Koike, Yasuharu
• 通讯作者: Koike, Yasuharu

Muscle Synergy and Musculoskeletal Model-Based Continuous Multi-Dimensional Estimation of Wrist and Hand Motions

• DOI: 10.1155/2020/5451219
• 发表时间: 2020-01-28
• 期刊: JOURNAL OF HEALTHCARE ENGINEERING
• 作者: Kim, Yeongdae;Stapornchaisit, Sorawit;Koike, Yasuharu
• 通讯作者: Koike, Yasuharu

ハイパースペクトルイメージングのための圧縮pansharpening の検討

高光谱成像压缩全色锐化的考虑

• 发表时间: 2019
• 作者: 武山彩織;小野峻佑;熊澤逸夫
• 通讯作者: 熊澤逸夫

Removal of the Infrared Light Reflection of Eyeglass Using Multi-Channel CycleGAN Applied for the Gaze Estimation Images

使用多通道 CycleGAN 去除眼镜的红外光反射应用于注视估计图像

• 发表时间: 2020
• 作者: Yoshikazu Onuki;Kosei Kudo;and Itsuo Kumazawa
• 通讯作者: and Itsuo Kumazawa