パーソナルモビリティを対象とした搭乗者の視認対象物の可視化と周辺環境認知状態推定

乘客可见物体的可视化和周边环境识别状态的估计以实现个人移动

• 批准号: 22K04018
• 负责人: 山崎 彬人
• 金额: $ 2.66万
• 依托单位: Meijo University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04018/
• 关键词: パーソナルモビリティ; 顔向き推定; ドライバ状態; 認知状態推定; 運転支援; 画像処理; 視認推定; 運転行動分析

本研究ではパーソナルモビリティ運転時に搭乗者が周辺環境の何をどのタイミングで視認しているかを推定し，視認の有無とその対象物の可視化，および認知状態を推定するシステムを開発することを目的としている．令和4年度は，以下のことを行った．まず，実験車両の整備を行った．本研究で対象とするパーソナルモビリティの一つであるハンドル型電動車いすを実験車両とし，搭乗者の顔画像を撮影する単眼カメラおよび，車両前方を撮影するためのステレオカメラを設置した．また，周辺環境認識用に全方位カメラおよびLiDARを車両前方と後方に各１台ずつ設置することにより，車両全方位のカメラ画像および３次元点群座標を取得可能とした．作成した実験車両を用いて，搭乗者の顔画像，車両周辺のステレオ及び全方位画像，LiDARによる3次元座標を含む走行データを取得した．次に取得したLiDARの3次元点群を用いたSLAM，全方位カメラの映像を用いたVisual SLAMによる自己位置推定，ステレオカメラによって得られた映像から車両前方の歩行者のリアルタイム検出および検出した歩行者までの距離推定を可能とするシステムの試作を行った．また，単眼カメラによって取得した搭乗者の顔画像を用いた顔向き推定および視線方向を推定するシステムの開発を行った．その他，搭乗者が装着型の視線計測装置を装着した状態で実験車両を運転し，搭乗者の視線および前方映像データの取得を行った．取得したデータを解析し，パーソナルモビリティ搭乗時に搭乗者がどこを視認しているかの視線データの分析を行った．

本研究的目的是开发一种系统，该系统可以估计乘客在驾驶个人机动车辆时对周围环境进行可视化的内容和时间，并估计视觉识别的存在或不存在、物体的可视化以及认知状态。有。 2020年，我们做了以下工作：首先，我们对实验车进行了维护。实验车辆为手柄式电动轮椅，是本研究针对的个人移动类型之一，并配备了单目摄像头捕捉乘员的面部图像和立体摄像头捕捉乘员正面的图像。车辆。此外，通过在车辆前后安装一台全向摄像头和一台激光雷达来识别周围环境，现在可以获取车辆各个方向的摄像头图像和三维点云坐标。使用创建的实验车辆，我们获取了驾驶数据，包括乘客的面部图像、车辆周围环境的立体和全方位图像以及来自激光雷达的3D坐标。接下来，使用获取的 LiDAR 3D 点云使用 SLAM 进行自身位置估计，使用全向摄像机图像进行视觉 SLAM，实时检测车辆前方的行人，并根据立体摄像机获得的图像检测步行。可以估计与人的距离。我们还开发了一种系统，可以使用单目摄像头捕获的乘客面部图像来估计面部方向和视线方向。此外，乘客在佩戴可穿戴视线测量设备的情况下驾驶实验车，采集乘客的视线和前方图像数据。我们分析了获取的数据，并分析了乘客乘坐个人移动车辆时所看位置的视线数据。

项目成果

混雑環境下における複数カメラを用いた電動車いすの自己位置推定

拥挤环境下多摄像头电动轮椅自身位置估计

• 发表时间: 2022
• 作者: 河村 拓海;山崎 彬人;小竹 元基;相馬 仁
• 通讯作者: 相馬 仁