Development of new haptic-audio-visual experiences by constructing remote sound drawing methods using mixed reality

通过使用混合现实构建远程声音绘图方法来开发新的触觉视听体验

基本信息

批准号：
21K00234
负责人：
中川隆
金额：
$ 2.66万
依托单位：
Nagoya City University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

2022(令和4)年度の成果概要は以下の通りである。【検証実験、システム更新】前年度開発を行った遠隔手法、触覚デバイス、音響生成機構を用いてシステムの更新をおこなった。更新したシステムを用いて実際に遠隔での検証実験を実施した。具体的には、遠隔で繋がった体験者同士の手が触れ会うことでノートオブジェクト（音オブジェクト）が生成されるとともに触覚フィードバックが生じるといったようなシンプルな構成をいくつか準備し、その動作確認を行った。筆者らが用いたネット環境下では、描画・音響の遅延等は気になるものではなく安定的に体験可能であった。ただし、空間における音描の密度が高まるとシステムへの負荷も高まり動作が不安定になるため、その対応について今後の制作を通して検討・改良を行っていく必要がある。【遠隔空間音描手法の策定・構築】更新したシステムを用いて遠隔空間音描手法について構成的に検討を行った。遠隔でMR体験を行う場合、体験者らはそれぞれ今自分自身が存在する実空間上にバーチャルオブジェクトが重なるかたちでそれらを共有することになる。つまり、体験者間で同じバーチャルオブジェクトを見聞きするものの、それらを見聞きするベースとなる実空間はそれぞれ異なるため、実空間とバーチャルオブジェクトが織りなす複合現実であるMR体験は体験者間で非対称となる。本研究ではこの遠隔MR体験の非対称性に着目しながら空間音描手法および体験の設計をおこなっている。【デモシステムの発表】本研究で開発・制作したデモ作品を国際会議SIGGRAPH 2022, Immersive Pvirionに投稿し採択された。レビュアーらから総じて高評価を受けての採択となった。

2022财政年度的结果（REIWA 4）如下。 [验证实验，系统更新]系统是使用去年开发的远程方法，触觉设备和声学生成机制进行更新的。实际上，我们使用更新的系统进行了远程验证实验。具体来说，我们准备了一些简单的结构，例如，当远程连接的体验者的双手聚会，创建音符对象（声音对象）和触觉反馈并确认其操作时。在作者使用的互联网环境下，绘画和声音延误并不是一个问题，并且可以稳定地体验它们。但是，随着空间中声音绘制的密度增加，系统上的负载增加，使操作不稳定，因此有必要通过未来的生产来考虑和改善响应。 [远程空间声音绘制方法的配方和构建]使用更新的系统，我们对远程空间绘制方法进行了结构检查。在进行远程MR体验时，每个体验者都会以在他们当前居住的真实空间中重叠的方式共享虚拟对象。换句话说，尽管体验者看到并听到了相同的虚拟物体，但看到和听到它们的基础的真实空间是不同的，因此，MR体验是由真实空间和虚拟物体共同编织在一起的混合现实，在体验者之间变得不对称。这项研究重点是这种遥远的MR经验的不对称性，并设计了空间声音绘制方法和体验。 [演示系统介绍]这项研究中开发和生产的演示作品已提交给Immersive Pvision，国际会议Siggraph 2022，并被选中。选择通常受到审阅者的高度赞扬。