カラー構造化光パターン設計に基づくワンショット分光3D計測

基于彩色结构光图案设计的一次性光谱3D测量

基本信息

批准号：
21K17762
负责人：
紋野雄介
金额：
$ 2.91万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状(デプス)と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。研究計画2年目である2022年度は、初年度に開発したベースとなるシステムを拡張し、自己教師あり学習により学習させる手法の検討を実施した。初年度の学習手法では、独自開発した画像生成シミュレーターにより合成したデータを用いることで、効率の良い学習データ生成を実現した。一方で、実世界で安定かつ高精度にシステムを機能させるためには、シミュレーター上の仮想システム・仮想物体と、実システム・実物体の間のギャップに対応する必要がある。それを回避するためには、実システムで撮影した画像と共に真値となる分光反射率とデプスが付随する学習データを大量に取得して学習させることが理想的であるが、データ取得にかかる労力の面から容易ではない。そこで、真値となる分光反射率とデプスを必要とせず、実システムで撮影した画像のみを用いた自己教師あり学習手法の提案を行い、その効果検証をシミュレーションおよび実実験の両面から実施中である。開発したベースシステムについては、2022年6月開催のコンピュータビジョンのトップ国際会議であるCVPR2022で発表した。また、2023年6月開催の画像センシングシンポジウム(SSII2023)でも発表予定である。現在取り組んでいる拡張内容については、十分な効果が得られ次第、学術論文誌への投稿を予定している。

这项研究旨在开发低成本和实用的镜头光谱3D测量系统，该系统可以同时测量对象3D形状（深度）和对象表面的光谱反射率，并使用一般的purpose投影仪和相机。在研究计划的第二年，2022财年，我们扩展了第一年的基本系统，并通过自学师生学习研究了一种学习方法。在第一年的学习方法中，使用专有成像模拟器合成的数据生成有效的学习数据。另一方面，为了确保现实世界中的稳定且较高的精确系统，有必要支持模拟器以及真实系统和真实对象上虚拟系统与虚拟对象之间的差距。为了避免这种情况，理想的选择是用中继线的反射和深度以及实际系统中拍摄的图像获得大量学习数据，但是从侧面学习并不容易。。因此，我们不需要真实价值的反射率和深度，但是只使用与实际系统拍摄的图像提出了一种自学学习方法，并从模拟和实际实验的两个方面验证效果。开发的基本系统宣布在2022年6月举行的CVPR2022国际顶级计算机愿景会议上宣布。它也将在2023年6月举行的图像传感研讨会（SSII2023）上宣布。至于目前正在进行的扩展内容，它计划在获得效果后立即发布到学术论文杂志上。