パーソナルモビリティを対象とした搭乗者の視認対象物の可視化と周辺環境認知状態推定

乘客可见物体的可视化和周边环境识别状态的估计以实现个人移动

• 批准号: 22K04018
• 负责人: 山崎 彬人
• 金额: $ 2.66万
• 依托单位: Meijo University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04018/
• 关键词: パーソナルモビリティ; 顔向き推定; ドライバ状態; 認知状態推定; 運転支援; 画像処理; 視認推定; 運転行動分析

本研究ではパーソナルモビリティ運転時に搭乗者が周辺環境の何をどのタイミングで視認しているかを推定し，視認の有無とその対象物の可視化，および認知状態を推定するシステムを開発することを目的としている．令和4年度は，以下のことを行った．まず，実験車両の整備を行った．本研究で対象とするパーソナルモビリティの一つであるハンドル型電動車いすを実験車両とし，搭乗者の顔画像を撮影する単眼カメラおよび，車両前方を撮影するためのステレオカメラを設置した．また，周辺環境認識用に全方位カメラおよびLiDARを車両前方と後方に各１台ずつ設置することにより，車両全方位のカメラ画像および３次元点群座標を取得可能とした．作成した実験車両を用いて，搭乗者の顔画像，車両周辺のステレオ及び全方位画像，LiDARによる3次元座標を含む走行データを取得した．次に取得したLiDARの3次元点群を用いたSLAM，全方位カメラの映像を用いたVisual SLAMによる自己位置推定，ステレオカメラによって得られた映像から車両前方の歩行者のリアルタイム検出および検出した歩行者までの距離推定を可能とするシステムの試作を行った．また，単眼カメラによって取得した搭乗者の顔画像を用いた顔向き推定および視線方向を推定するシステムの開発を行った．その他，搭乗者が装着型の視線計測装置を装着した状態で実験車両を運転し，搭乗者の視線および前方映像データの取得を行った．取得したデータを解析し，パーソナルモビリティ搭乗時に搭乗者がどこを視認しているかの視線データの分析を行った．

这项研究旨在开发一个系统，该系统估计乘客在个人出行驾驶过程中在周围环境中可视化的时间和时间，并想象它们是否可见，并估算认知状态。在2022年，进行了以下操作：首先，我们对实验工具进行了维护。实验车辆配备了方向盘式电动轮椅，本研究中针对的个人移动性之一，并安装了单眼相机，以捕获乘客的脸和立体声摄像头以捕获车辆的前部。此外，通过在前面安装一台相机和一辆激光镜头，可以为所有方向识别一辆识别周围环境的车辆，以识别周围环境，相机图像和三维点云坐标。使用实验工具，我们获取了驾驶数据，包括乘客的面部图像，周围车辆的立体声图像和全向图像，以及使用激光雷达的三维坐标。接下来，我们创建了一个原型系统，该系统允许在车辆前面实时检测行人，并从立体声摄像机获得的图像中估算所检测到的行人，并估算与检测到的行人的距离。此外，我们开发了一个系统，用于估算面部方向并使用单眼相机获得的乘客的面部图像估算凝视方向。此外，乘客使用可穿戴的凝视测量设备驱动了实验工具，该设备连接到获得振荡的振荡和前向视频数据。分析了获得的数据，并分析了目光数据，以查看乘客在登机个人移动性时在哪里查看。

项目成果

混雑環境下における複数カメラを用いた電動車いすの自己位置推定

拥挤环境下多摄像头电动轮椅自身位置估计

• 发表时间: 2022
• 作者: Mitsuda Takashi、Ritsumeikan University 1-1-1 Noji-higashi;Kusatsu;Shiga 525-8577;Japan;河村 拓海，山崎 彬人，小竹 元基，相馬 仁
• 通讯作者: 河村 拓海，山崎 彬人，小竹 元基，相馬 仁