複合現実感のための実時間再照明付与技術

混合现实实时重新照明技术

基本信息

批准号：
23700153
负责人：
一刈良介
金额：
$ 2.83万
依托单位：
Ritsumeikan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2011
资助国家：
日本
起止时间：
2011 至无数据
项目状态：
已结题

项目摘要

1.研究の目的本研究課題は,実写とコンピュータグラフィクス(CG)が継ぎ目なく融合された複合現実感(MR)において,仮想照明による照明効果を実写とCG双方に違和感なく付与する再照明付与(Relighting)技術に関する研究を行うことを目的としており,そのために,実時間での照明条件の把握,写実的な照明の近似的表現法,効率的な実空間の幾何形状と反射特性の推定を行う.MR空間の光学的要素を意図的にかえることでの演出効果を得ることができる.H23年度は,この研究目的に従い研究を進めた.2.平成23年度の実施計画に照らした進捗状況(1)実時間照明推定を用いた光学的整合法光学的整合法の実現の第一ステップとして,光源環境マップを点光源で近似する手法を再照明付与の枠組みに導入した.また,実時間照明推定のために,ハーフミラーと2台のカメラを用いたHDRキャプチャ手法を開発した.このHDRキャプチャ技術を用いて鏡面球を観測すれば,変化する照明環境もHDRの光源環境マップとして収録可能となる.(2)再照明付与処理の実時間化再照明付与の実時間対応は,プログラマブルシェーダを用いたGPUの活用により実現できた.これまでの手法が,拡散反射のみに対応していたのに対して,Torrance-Sparrowモデルを用いたシェーダに変えることで,CG部分に対しては,鏡面反射成分も反映した描画を可能にした.(3)IBL (Image Based Lighting)技術の導入IBLとしては,(1)で示した通り,光源環境マップを点光源に近似することで,近似的なIBLを導入した.(4)実世界の幾何形状,表面反射特性の推定実物体の反射特性の推定として,滞在して研究していたUSC ICTが開発したLightStageの可搬型であるFree-Form型反射特性推定法を開発し,その方法で計測した反射特性により実物体を仮想化することで,写実的な再照明付与処理を実現できた.

1.研究目的本研究的目的是提供重新照明（re-lighting），将虚拟照明的照明效果无缝地应用到混合现实（MR）中的真人表演和CG中，其中真人和计算机图形（CG）无缝融合该项目的目的是进行照明（relighting）技术的研究，为此需要实时了解照明条件，并进行照明。一种明亮的近似表示方法，可以有效地估计真实空间的几何形状和反射特性。通过有意改变MR空间的光学元件，可以获得戏剧性的效果。2.研究进展。 2011财年实施计划 (1) 使用实时照度估计的光学匹配方法实现光学匹配方法的第一步因此，我们在重照明框架中引入了一种用点光源来近似光源环境图的方法。此外，为了实时照明估计，我们开发了一种使用半反射镜和两个摄像头的 HDR 捕获方法。通过使用 HDR 捕捉技术观察镜面球体，可以将变化的光照环境记录为 HDR 光源环境图。 (2) 重新照明重新照明的实时处理通过利用使用可编程着色器的 GPU 实现了对重新照明的实时支持。虽然以前的方法仅处理漫反射，但 Torrance-Sparrow 通过更改为使用模型的着色器，已成为可以绘制也反映镜面反射分量的CG部分。 (3) IBL。 (Image Based Lighting) 技术介绍如(1)所示，我们通过将光源环境图近似为点光源，引入了近似IBL (4) 真实世界的几何形状和表面反射特性估计反射估计。我在南加州大学呆过并进行了研究，了解了真实物体的特征。我们开发了一种Free-Form反射特性估计方法，它是ICT开发的LightStage的便携式版本，通过使用该方法测量的反射特性虚拟化真实物体，我们能够实现逼真的重新照明处理。