植物フェノタイピングのための遮蔽補完型三次元復元

用于植物表型分析的封闭互补 3D 重建

基本信息

批准号：
21H03466
负责人：
大倉史生
金额：
$ 10.23万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究の目的は、遮蔽を含む植物の三次元形状復元および解析フレームワークの確立である。本研究では、多視点あるいは単一・少数視点からの遮蔽補完型三次元復元を、二次元・三次元の形状・テクスチャの欠損修復・復元の最適化問題として扱う。これを達成するため、本研究では「研究項目1：多視点植物画像からの枝葉の三次元構造復元」、「研究項目2：単一・少数画像からの三次元構造復元」および、これらの手法を時空間に拡張した「研究項目3：構造トラッキングに基づく時系列復元および応用」を核とした研究を実施する。いずれの項目も、CV分野において新規性の大きい内容である。計画2年目である今年度は、「研究項目1：多視点植物画像からの枝葉の三次元構造復元」に関する本格的な実装に着手した。具体的には、多視点画像上でアモーダルセグメンテーションに基づく物体形状の修復（遮蔽補完）を行い、三次元空間中で統合するアプローチを取る。カメラ位置姿勢が既知であれば、多視点画像上で画像変換、画像修復、アモーダルセグメンテーション等を用いて欠損のない枝葉領域を推定し、これらを三次元空間中で統合することができる。このアイデアを実装し、シミュレーション画像および実画像で実験を行った。遮蔽補完を行わない手法と比較し、高精度な三次元復元を達成した。今年度は、合わせて「研究項目3：構造トラッキングに基づく時系列復元および応用」の基礎検討を実施した。本研究で主たるターゲットとする栽培やフェノタイピング（表現型定量化）の実応用に三次元形状復元手法を展開する際、時系列データに基づき植物の成長過程を記述することが極めて有用である。これを実現するためには、異なる時期に取得された植物構造のトラッキングが必要となる。本研究では、植物構造の事前知識を用いた植物構造のトラッキングを提案することを目指し、具体的な実装方針を検討した。

这项研究的目的是为包括屏蔽在内的植物建立三维形状的恢复和分析框架。在这项研究中，我们从多个角度或单一或少数观点视为修复和恢复二维和三维形状和纹理的缺陷的优化问题。为了实现这一目标，这项研究将重点介绍“研究项目1：三维植物图像的分支和叶子的三维结构恢复”，“研究项目2：来自单个和少数图像的三维结构恢复”，以及“研究项目3：时间序列的恢复和基于结构跟踪的恢复和应用”，将这些方法扩展到这些方法到Spatio-pitio spatio-spatio。所有这些项目在简历领域都是非常新颖的。今年是计划的第二年，我们已经开始实施“研究项目1：从多视图植物图像中恢复分支和树叶的三维结构”。具体而言，一种方法是根据多视图图像上的Amodal分割修复（屏蔽完成）对象形状，并将它们集成到三维空间中。如果已知相机位置和方向，则可以使用图像转换，图像修复，Amodal分割等在多视图图像上估算有缺陷的分支和叶片区域，并且可以将其集成到三维空间中。实现了这个想法，并使用仿真图像和实际图像进行了实验。与不执行屏蔽完成的方法相比，实现了高精度3D恢复。今年，我们还对“研究项目3：基于结构跟踪的时间序列恢复和应用”进行了基础研究。当开发三维形状恢复技术用于培养和表型的实际应用（表型定量），这是这项研究的主要目标时，根据时间序列数据来描述植物的生长过程非常有用。为此，必须跟踪在不同时间获得的植物结构。这项研究旨在使用植物结构的先验知识提出植物结构跟踪，并检查特定的实施政策。

项目成果

期刊论文数量（32）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

農業は情報の「応用」か？農業分野から新しい情報技術を生み出す

农业是信息的“应用”吗？

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
榎本平之;西口修平;飯島尋子;大倉史生
通讯作者：
大倉史生

Multispectral Photometric Stereo for Spatially-Varying Spectral Reflectances

用于空间变化光谱反射率的多光谱光度立体

DOI：
10.1007/s11263-022-01634-4
发表时间：
2022
期刊：
International Journal of Computer Vision (IJCV)
影响因子：
0
作者：
Heng Guo;Fumio Okura;Boxin Shi;Takuya Funatomi;Yasuhiro Mukaigawa;and Yasuyuki Matsushita
通讯作者：
and Yasuyuki Matsushita

Accuracy Evaluation and Prediction of Single-Image Camera Calibration

单图像相机标定精度评估与预测