時空間映像データの高度利用のための循環型フレームワークの構築

时空视频数据深度利用循环框架构建

• 批准号: 21H03487
• 负责人: 柴田 史久
• 金额: $ 10.98万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03487/
• 关键词: 循環型フレームワーク; 時空間映像データ; 移動体通信; 複合現実感; 安全運転支援; 複合現実感（MR）; 隠消現実感（DR）

本研究の目的は，実世界を観測した時間的・空間的に散在する画像やセンサデータを獲得・伝送・蓄積・変換・加工・表示するためのアプリケーションフレームワークSIGMA(Spatiotemporal Images with Generalized Management Architecture)の実現である．自動車や列車，ドローンから街頭カメラやスマートフォンまで，あらゆる機器から得られる画像・センサデータを収集し，循環・再利用できる基幹技術体系の構築が最終目標であり，本研究課題では，代表的な事例を想定して，必要となる要素技術の開発，フレームワークの概念設計と試作，複数の事例システムの試作を行う．最新の通信方式（5G）や最適な表示デバイスを組み合わせたシステムの実現を可能とするために，MR/DRレンダリング，特徴抽出，射影変換，3次元再構成などの関連技術を汎用的な形態でモジュール化することを目指す．このようなフレームワークの構築では，将来の発展性を見据えた概念設計が肝要となる．対象・目標を明確化するために，複数の応用事例を想定し，そこで遭遇すると予想される課題の解決方法や基盤となる要素技術を抽出する．具体的には，シースルーDRによる安全運転支援について検討した．令和4年度においては，これまでに構築したシースルーDRによる安全運転支援システムの評価を行うために，CARLAシミュレータをベースとしたシミュレーション環境を構築し，被験者実験を通じてシースルーDRの効果について分析した．また，関連技術として，実世界と仮想世界を連携させる要素技術について，汎用的なツールキットの開発を進めた．

这项研究的目的是实现具有广义管理体系结构（Sigma）的时空图像，这是一个用于获取，传输，存储，转换，处理，处理和显示图像和传感器数据的应用框架，并在现实世界中散布在空间上。最终的目标是收集从各种设备获得的图像和传感器数据，从汽车，火车，无人机到街头摄像机和智能手机，并创建一个可以回收和重复使用的核心技术系统。本研究主题假定典型情况，并开发必要的基本技术，概念设计和概念设计和原型框架以及多个案例系统的原型系统。为了实现结合最新通信方法（5G）和最佳显示设备的系统，我们旨在以通用形式模块化相关技术，例如MR/DR渲染，功能提取，投射转换和3D重建。在构建这样的框架时，必须关注未来发展的概念设计至关重要。为了阐明目标和目标，假定了多个申请示例，并解决了解决该问题的方法，这些方法预计会遇到的问题，并提取了基础元素技术。具体来说，我们使用透明DR讨论了安全驾驶帮助。在2022年，为了评估我们到目前为止已经建立的透明DR的安全驾驶辅助系统，构建了基于Carla模拟器的模拟环境，并通过主题实验分析了DR的效果。此外，我们为相关技术（例如将现实世界和虚拟世界联系起来的基本技术）开发了一种通用工具包。

项目成果

V-XoverKit: Mixed reality content creation toolkit to connect real and virtual spaces

V-XoverKit：连接真实和虚拟空间的混合现实内容创建工具包

• 发表时间: 2022
• 作者: Yumi Fukuda;Ayumu Shikishima;Asako Kimura;Hideyuki Tamura;and Fumihisa Shibata
• 通讯作者: and Fumihisa Shibata

三代目MR ピタゴラ兄妹 with RV-XoverKit ～エデュテインメント作品制作に適したツールの利用例～

第三代MR Pitagora兄妹搭配RV-XoverKit～适合创作寓教于乐作品的工具使用示例～

• 发表时间: 2021
• 作者: N. Kishi;R. Shinkuma;M. Oka;T. Sato;and E. Oki;Xin Du and Kumiko Tanaka-Ishii;福田裕美，敷島歩，石田隼也，木村朝子，田村秀行，柴田史久
• 通讯作者: 福田裕美，敷島歩，石田隼也，木村朝子，田村秀行，柴田史久

実世界観測による時空間映像データの高度利用 (3) ―時空間映像データの低遅延な蓄積配信機構の設計と実装―

通过真实观察进阶利用时空视频数据（3）——时空视频数据低延迟存储与分发机制的设计与实现——

• 发表时间: 2021
• 作者: K. Akahoshi;F. He;and E. Oki;Sakriani Sakti;西川卓，松木輝，山﨑賢人，木村朝子，柴田史久
• 通讯作者: 西川卓，松木輝，山﨑賢人，木村朝子，柴田史久

安全運転支援のための周辺車両の半隠消表示法(3) －5G 環境下における性能評価実験－

支持安全驾驶的周边车辆半隐藏显示方法（三）-5G环境下的性能评估实验-

• 发表时间: 2021
• 作者: Fei Gu;Chengshuo Xia;Yuta Sugiura;平松黎，若林優，佐々木俊希，木村朝子，柴田史久
• 通讯作者: 平松黎，若林優，佐々木俊希，木村朝子，柴田史久

RV-XoverKit：エデュテインメント分野でのMRコンテンツ制作に適したツールキット

RV-XoverKit：适合在寓教于乐领域创建MR内容的工具包

• 发表时间: 2021
• 作者: 津田龍星;前川大樹;粟谷朋留;中山雅人;高橋 徹;船水章大;敷島歩，石田隼也，福田裕美，木村朝子，田村秀行，柴田史久
• 通讯作者: 敷島歩，石田隼也，福田裕美，木村朝子，田村秀行，柴田史久