道路走行映像の自由視点再現技術を活用した自動運転における運転者の挙動分析

利用道路驾驶图像自由视点再现技术分析自动驾驶中的驾驶员行为

基本信息

批准号：
21K03962
负责人：
小野晋太郎
金额：
$ 2.66万
依托单位：
Fukuoka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

R4年度においては、以下の事項に取り組んだ。(1) 撮影映像を処理することで操舵効果を再現する手法を開発した。1つは深層学習技術を利用して任意視点からの画像を推測・描画する手法である。この手法は既に知られているが、シーンを小規模に分割し、視線方向のサンプリングを簡略化することで運転シミュレーションとしての最低性能（480x270, 10fps）を大きく超える見通しが得られた。もう1つの手法は、画角を広めに撮影した映像の中央部を切り抜いてい描画し、切り抜き領域をシフトすることで簡易的に操舵効果を実現するものである。この手法では操舵時の見え方が幾何的に正しくないため、見え方相違量が最小となる条件をVR空間で再現して試算した。(2) ドラレコ映像から推定した車間距離および走行ログから自車両の急ブレーキ発生を検出する手法（R3年度開発）を改良し、数秒先の発生予測までできるようにした。また、自車両の走行状況の把握の一環として、自動走行においても認識が必要な前方のカーブミラーや死角を検出する手法を開発した。カーブミラーの検出においては、自らの撮影画像や Google Street View 画像により複数の検出器（Faster R-CNN, SSD, YOLOv4）を学習し、検出器と最適化アルゴリズム毎の性能を比較分析した。死角の検出は簡易的なルールベース手法を試行し、シーン中の意味領域とデプスが同時にエッジを持つ箇所を提示するだけでも効果が得られることを確認した。(3) 研究代表者の異動に伴い実際の自動運転車両からドライバ挙動や走行映像を取得する見通しが立たなくなったことから、VR環境により模擬的に自動運転を行える環境を構築した。機材や自動運転シミュレーションソフトを検討し、導入の目処を立てた。また、シミュレーションCGのコントラストと速度感覚について予備検討を行った。

在R4财政年度，我们从事以下项目。（1）开发了一种通过处理拍摄视频来复制转向效果的方法。一种是一种使用深度学习技术从自愿角度估算和绘制图像的方法。该方法已经知道，但是通过将场景划分为小规模并简化了凝视方向的采样，它已经获得了最低性能（480x270，10fps）的主要前景作为驱动模拟。另一种方法是，图像的中央部分具有广角的视角切割并绘制图像的中心部分，并将切割区域移动仅仅以实现转向效果。在这种方法中，转向时的外观不正确，因此在VR空间中重现了最小化外观外观的条件并进行了估计。（2）从车间距离和从龙视频图像估算的驾驶日志中检测出车辆突然制动的方法得到了改进，以便可以预测几秒钟的奖励。此外，作为对车辆驾驶状态的理解的一部分，我们开发了一种技术来检测曲线镜和盲点，即使在自动驾驶中也需要识别。在检测曲线镜中，通过自己的拍摄图像和Google Street View Images了解了一个多个检测器（更快的R-CNN，SSD，Yolov4），并且对每个检测器和优化算法进行了比较分析，并进行了比较分析。对盲点的检测进行了测试，以实现简单的基于规则的方法，并且可以证实，它可以有效，只是呈现现场和深度同时具有边缘的位置的含义区域。（3）随着研究代表的转移，从实际的自动驾驶车辆中获取驱动程序和驾驶图像的前景已减少，因此我们建立了一个可以通过VR环境来执行自动驾驶的环境。我们考虑了设备和自动驾驶模拟软件，并设定了介绍的前景。此外，对模拟CG的对比度和速度感进行了初步研究。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

MOTSLAM: MOT-assisted monocular dynamic SLAM using single-view depth estimation

DOI：
10.1109/iros47612.2022.9982280
发表时间：
2022-10
期刊：
2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
影响因子：
0
作者：
Hanwei Zhang;Hideaki Uchiyama;Shintaro Ono;Hiroshi Kawasaki
通讯作者：
Hanwei Zhang;Hideaki Uchiyama;Shintaro Ono;Hiroshi Kawasaki

交差点事故防止マップ生成のためのGSVとOSMに基づくカーブミラー検出の提案

基于GSV和OSM的曲面镜检测用于交叉口事故预防地图生成的建议