Utilizing Spatialized Audio Augmented Reality to Generate Location Dependent Soundscapes

利用空间化音频增强现实来生成位置相关的音景

• 批准号: 22K12274
• 负责人: SIRIARAYA PANOTE
• 金额: $ 2.41万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12274/
• 关键词: AR; 立体音響; 機械学習; モバイルコンピューティング; 情報推薦; eラーニング; 拡張現実; 推薦システム

本研究は、ユーザの現在位置に関する情報をサウンドスケープ(「音風景」や「音景」などと訳される概念)として生成し、可動性の高い没入型空間を提供できる立体音響ARを実現することが目的である。そして、その立体音響ARのサウンドスケープを屋外スポットに関連する教科書の知識を体験可能なユビキタス学習システムや位置情報付きSNSにより人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムなどのユースケースで検証する。現在の研究実績に関して、すでにオープンウェブデータとSNSデータを使用して、ある市内の場所の地理空間の特性（ある市街地の人々が表す感情と行動）を抽出できる様々なアルゴリズムを開発して実験を行った。また、一般のスマートフォンにおいても、町中に歩きながら、仮想人間や他人の存在感を感じさせる立体音響のAR空間を開発していた。最後にユーザの現在地の地理的な特性をもとに英語教育用のAeseop物語を生成して音声で語るシステムを開発した（例えば、周りの場所に神社、川がいたら、「喉の渇いたカラスが水差から水を飲みたいが、手が届かなくて、近くの神社の賢者の僧から石をもらて、その石を一つずつ落としていったら、やがて水を飲める」という物語が生成される）。生成した物語とそのシステムを京都で予備実験を行った。現在はタイの中学校の生徒と評価実験を実施している。それらの研究実績の一部が国際学術雑誌や学会に採択された。

这项研究的目的是生成有关用户当前位置作为音景的信息（一种被翻译为“声音风景”或“声音风景”的概念），并实现可以提供高度移动，沉浸式空间的三维声学AR。将使用诸如无处不在的学习系统等用例来检查三维声学AR的音景，该系统使您能够体验与室外景点相关的教科书知识，以及通过使用位置信息通过社交媒体来增加人类活动的社交活动的旅游支持系统。关于当前的研究成就，我们已经使用开放的网络数据和社交媒体数据开发并进行了实验，以开发各种算法，这些算法可以提取城市中某个位置的地理空间特征（城市中人们在城市中的情感和行为）的地理特征。此外，普通的智能手机还开发了一个三维的声学AR空间，在围绕城镇中行走时，给人以虚拟人类和其他人的印象。 Finally, we developed a system to generate and speak English-edition Aeseop stories based on the geographical characteristics of the user's current location (for example, if there are shrines or rivers around it, the story is generated that says, "If a thirsty crow wants to drink water due to the difference in water, but it is not accessible, and if the stones are received from a philosopher's monk at a nearby shrine, drop the stones one by one, then eventually they can drink 水。”）。在京都对生成的故事及其系统进行了初步实验。目前，我们正在对泰国初中的学生进行评估实验。这些研究成就的一部分是由国际学术期刊和学术社会选择的。

项目成果

Investigating the use of Spatialized Audio Augmented Reality to enhance the outdoor running experience

研究使用空间化音频增强现实来增强户外跑步体验

• DOI: 10.1016/j.entcom.2022.100534
• 发表时间: 2023
• 期刊: Entertainment Computing
• 影响因子: 2.8
• 作者: Siriaraya Panote;Kiriu Takumi;She Wan Jou;Mittal Mohit;Kawai Yukiko;Nakajima Shinsuke
• 通讯作者: Nakajima Shinsuke

Palm Happiness: A Location-Based Application to Promote Awareness of Everyday Happy Moments

掌上幸福：一款基于位置的应用程序，旨在提高人们对日常幸福时刻的认识

• DOI: 10.1145/3528575.3551432
• 发表时间: 2022
• 期刊: Adjunct Publication of the 24th International Conference on Human-Computer Interaction with Mobile Devices and Services
• 作者: Siriaraya Panote;Suzuki Kenta;She Wan Jou;Tanaka Ryotaro;Li Da;Narumoto Jin;Kuwahara Noriaki;Sumiya Kazutoshi;Nakajima Shinsuke
• 通讯作者: Nakajima Shinsuke

A Detection System for Comfortable Locations Based on Facial Expression Analysis While Riding Bicycles

基于骑行时面部表情分析的舒适位置检测系统

• DOI: 10.1145/3543873.3587371
• 发表时间: 2023
• 期刊: Companion Proceedings of the ACM Web Conference 2023
• 作者: Yamaguchi Ryuta;Siriaraya Panote;Yoshihisa Tomoki;Shimojo Shinji;Kawai Yukiko
• 通讯作者: Kawai Yukiko