Reproducing Visual Appearance by Optical See-Through Head-Mounted Display based on Measurement and Modulation of Light Rays

基于光线测量和调制的光学透视头戴式显示器再现视觉外观

• 批准号: 20J14971
• 负责人: 廣井 裕一
• 金额: $ 1.22万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J14971/
• 关键词: 光学シースルーHMD; 拡張現実感; 質感再現; 奥行き知覚; 視力特性推定

光学シースルー頭部搭載型ディスプレイ(OST-HMD)において、眼に入る光線を直接計測・変調することにより、現実と視覚的に不可分なバーチャル物体の質感を再現する研究において、今年度は下記の進捗があった。「視覚特性の推定」：前年度成果である「拡散ホログラフィック波面センサ(DWFS)による視力推定手法を統合した網膜走査型OST-HMD」について、拡張現実感(AR)への応用に向けたシステムの小型化およびリアルタイム化を行った。小型化については、視力推定と映像提示の両方をウェアラブル端末上に実装するための構成を提案した。リアルタイム化については、DWFSにより取得する波面画像から、高速に視力を測定するための深層学習モデルを構築した。「幅広い光学特性を再現可能なOST-HMD」；前年度成果である、位相空間光変調器(PSLM)を用いて、連続・曲面のAR物体に対して奥行きブラーを提示する「焦点面光学遮蔽OST-HMD」に関する評価と改良を行った。提案法が再現できる奥行きブラーとシミュレーションとの空間周波数特性の比較を行い、結果は光学分野の主要国際論文誌であるOptics Expressに採録された。また、「視覚特性の推定」で計測したユーザの視力を補償するパターンを位相画像に畳み込み、バーチャル物体の奥行き表現を改善しながら現実の見え方を同時に補償する手法の検討を行った。本研究は、眼光学的計測に基づく眼のピント推定と、光線の直接変調に基づく高コントラスト・広色域・ピント調節可能なOST-HMDを提案し、OST-HMDにおける視覚的質感再現の幅を広げた。今後は、AR応用に向けた現行システムのリアルタイム化を中心に検討を進めていく。

今年，我们的研究取得了以下进展，通过使用光学透视头戴式显示器（OST-HMD）直接测量和调制进入眼睛的光，再现视觉上与现实密不可分的虚拟物体的纹理）。 有。 “视觉特性的估计”：将前一年的成果“整合了使用漫射全息波前传感器（DWFS）的视力估计方法的视网膜扫描OST-HMD”应用于增强现实（AR）的系统）我们让它变得更加紧凑和实时。关于小型化，我们提出了一种在可穿戴终端上实现视力估计和视频呈现的配置。在实时测量方面，我们建立了深度学习模型，通过 DWFS 获得的波前图像快速测量视力。 “可以再现各种光学特性的 OST-HMD”；“焦平面光学屏蔽”，使用相位空间光调制器 (PSLM) 呈现连续和弯曲 AR 物体的深度模糊，这是去年的成果。 OST-HMD”进行了评估和改进。我们将所提出的方法可以再现的深度模糊和空间频率特性与仿真进行了比较，结果发表在光学领域主要国际期刊《Optics Express》上。我们还研究了一种方法，该方法将补偿通过“估计视觉特征”测量的用户视敏度的模式卷积到相位图像中，改善虚拟对象的深度表示，同时补偿它们在现实中的外观。本研究提出了一种能够实现高对比度、宽色域、基于眼部光学测量和光线直接调制的眼睛焦点估计的焦点调节的OST-HMD，以及OST-HMD中视觉纹理再现的范围。展开。未来，我们将专注于使当前系统针对AR应用变得实时。

项目成果

Stencil Marker: Designing Partially Transparent Markers for Stacking Augmented Reality Objects

模板标记：设计用于堆叠增强现实对象的部分透明标记

• 发表时间: 2020
• 作者: Xuan Zhang; Jonathan Lundgren; Yoya Mesaki; Yuichi Hiroi; Yuta Itoh
• 通讯作者: Yuta Itoh

Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion

2020年语音转换挑战赛：语内半并行和跨语言语音转换

• DOI: 10.21437/vcc_bc.2020-14
• 发表时间: 2020-08-28
• 期刊: ArXiv
• 作者: Yi Zhao;Wen;Xiaohai Tian;J. Yamagishi;Rohan Kumar Das;T. Kinnunen;Zhenhua Ling;T. Toda
• 通讯作者: T. Toda

Matrix metalloproteinase 3 as a valuable marker for patients with COVID‐19

基质金属蛋白酶 3 作为 COVID-19 患者的有价值标记物

• DOI: 10.1002/jmv.26235
• 发表时间: 2020-05-28
• 期刊: Journal of Medical Virology
• 影响因子: 12.7
• 作者: S. Shi;M. Su;G. Shen;Yan Hu;Fan Yi;Z. Zeng;P. Zhu;Gang Yang;Hui Zhou;Qiong Li;Xiaobing Xie
• 通讯作者: Xiaobing Xie

StainedView (2020)

污迹景观 (2020)

DehazeGlasses (2020)

除雾眼镜 (2020)