詳細形状と反射特性を考慮した小型昆虫標本のためのフォトグラメトリ法

考虑细节形状和反射特征的小型昆虫标本摄影测量方法

基本信息

批准号：
22H03710
负责人：
井尻敬
金额：
$ 6.74万
依托单位：
Shibaura Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究は、多様な価値を持つ昆虫標本を対象として、その計測に基づくデジタルデータ化手法の確立を目指すものである。本研究では、次の３件のサブ課題に取り組む予定である。課題A: 多視点深度合成写真による昆虫詳細形状の高精度フォトグラメトリ。課題B: 多視点・多光源フォーカスブラケット撮影による反射特性と微細凹凸の推定。課題C: 3次元モデル群構築とデジタル図鑑の公開．昨年度は、全サブ課題の基盤となる「撮影ステージの構築」と「既存手法の統合により撮影・深度合成・形状復元を自動化するソフトウエアの実装」を行った。この撮影装置とモデリング自動化の内容の一部を解説論文として発表するとともに、成果であるホウセキゾウムシの3次元モデル群をweb上に公開した（www.igl.ise.shibaura-it.ac.jp/projects/2022_euphlusmodels.html）。加えて、この自動化ソフトウエアにおける回転台の制御部分をオープンソースソフトウエアとして公開した（github.com/InteractiveGraphicsLab/StackShot3X_API_for_Python）．続いて、課題Bの質感の再現に着手し、その成果の一部を国内会議にて発表した。提案手法では、光源と視点の位置が既知である状態で昆虫標本を複数回撮影する。続いて、得られた画像群から3次元モデルを構築した後、3次元モデル上の任意の点において光源が動いた際の反射率応答を取得し、これを用いて拡散色・鏡面反射色・表面粗さを推定する。また、我々は、3次元空間の色と不透明度をNeural Networkにより表現することで物体のレンダリングを可能にするNeural Radiance Field (NeRF)を昆虫標本へ応用する試みや、半透明物体のレンダリングに関数研究を実施し、その成果を国内学会にて報告した。

本研究旨在建立一种基于具有不同值的昆虫标本测量的数字数据转换方法。在这项研究中，我们计划解决以下三个子问题。作业 A：使用多视图深度合成摄影对详细昆虫形状进行高精度摄影测量。作业 B：使用多视图、多光源对焦包围摄影来估计反射特性和微小不规则性。作业C：3D模型组构建及数字绘本出版。去年，我们致力于“构建摄影舞台”和“通过整合现有方法实现自动摄影、深度合成和形状恢复的软件”，这将作为所有子问题的基础。我们在一篇说明性论文中发布了该成像设备和建模自动化的部分内容，还在网络上发布了由此产生的芝浦象鼻虫 3D 模型 (www.igl.ise.shibaura-it.ac.jp/projects/2022_euphlusmodels. html）。此外，该自动化软件中转盘的控制部分已作为开源软件发布（github.com/InteractiveGraphicsLab/StackShot3X_API_for_Python）。接下来，我们开始重新打造Task B的质感，并在国内的一次会议上展示了部分成果。在所提出的方法中，在已知光源和视点位置的情况下对昆虫标本进行多次拍摄。接下来，从获得的图像组构建3D模型后，我们获得光源在3D模型上任意点移动时的反射率响应，并用它来计算漫反射颜色、镜面反射颜色、估计表面粗糙度。此外，我们正在尝试将神经辐射场（NeRF）（通过使用神经网络表达三维空间的颜色和不透明度来实现对象渲染）以及用于渲染半透明对象的功能应用于昆虫标本的研究。并在国内学术会议上报告了结果。