Utilizing Spatialized Audio Augmented Reality to Generate Location Dependent Soundscapes

利用空间化音频增强现实来生成位置相关的音景

• 批准号: 22K12274
• 负责人: SIRIARAYA PANOTE
• 金额: $ 2.41万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12274/
• 关键词: AR; 立体音響; 機械学習; モバイルコンピューティング; 情報推薦; eラーニング; 拡張現実; 推薦システム

本研究は、ユーザの現在位置に関する情報をサウンドスケープ(「音風景」や「音景」などと訳される概念)として生成し、可動性の高い没入型空間を提供できる立体音響ARを実現することが目的である。そして、その立体音響ARのサウンドスケープを屋外スポットに関連する教科書の知識を体験可能なユビキタス学習システムや位置情報付きSNSにより人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムなどのユースケースで検証する。現在の研究実績に関して、すでにオープンウェブデータとSNSデータを使用して、ある市内の場所の地理空間の特性（ある市街地の人々が表す感情と行動）を抽出できる様々なアルゴリズムを開発して実験を行った。また、一般のスマートフォンにおいても、町中に歩きながら、仮想人間や他人の存在感を感じさせる立体音響のAR空間を開発していた。最後にユーザの現在地の地理的な特性をもとに英語教育用のAeseop物語を生成して音声で語るシステムを開発した（例えば、周りの場所に神社、川がいたら、「喉の渇いたカラスが水差から水を飲みたいが、手が届かなくて、近くの神社の賢者の僧から石をもらて、その石を一つずつ落としていったら、やがて水を飲める」という物語が生成される）。生成した物語とそのシステムを京都で予備実験を行った。現在はタイの中学校の生徒と評価実験を実施している。それらの研究実績の一部が国際学術雑誌や学会に採択された。

这项研究将用户当前位置的信息生成为音景（一个翻译为“音景”或“音景”的概念），以实现可以提供高度移动的沉浸式空间的 3D 音频 AR。立体声AR音景可用于诸如让用户体验与户外景点相关的教科书知识的无处不在的学习系统，以及通过基于位置的SNS听到人类活动的声音来增加社交存在感的旅游支持系统等应用。与一个案例。就目前的研究成果而言，我们已经开发并试验了各种算法，可以使用开放网络数据和 SNS 数据提取城市内某个位置的地理空间特征（城市地区人们表达的情绪和行为）。他们还开发了一个带有立体声的 AR 空间，让用户在使用普通智能手机在城镇中行走时能够感受到虚拟人和其他人的存在。最后，我们开发了一个系统，可以根据用户当前位置的地理特征生成用于英语教育的 Aeseop 故事，并大声讲述一个故事，其中一个人想要喝水罐里的水，但无法够到它。他从附近神社的一位聪明的和尚那里得到一块石头，将石头一颗一颗地扔下去，最终可以喝水）。使用生成的故事及其系统在京都进行了初步实验。目前，我们正在对泰国初中的学生进行评估实验。其中部分研究成果已被国际学术期刊和学术会议接受。

项目成果

Investigating the use of Spatialized Audio Augmented Reality to enhance the outdoor running experience

研究使用空间化音频增强现实来增强户外跑步体验

• DOI: 10.1016/j.entcom.2022.100534
• 发表时间: 2023
• 期刊: Entertainment Computing
• 影响因子: 2.8
• 作者: Siriaraya Panote;Kiriu Takumi;She Wan Jou;Mittal Mohit;Kawai Yukiko;Nakajima Shinsuke
• 通讯作者: Nakajima Shinsuke

A Detection System for Comfortable Locations Based on Facial Expression Analysis While Riding Bicycles

基于骑行时面部表情分析的舒适位置检测系统

• DOI: 10.1145/3543873.3587371
• 发表时间: 2023
• 期刊: Companion Proceedings of the ACM Web Conference 2023
• 作者: Yamaguchi Ryuta;Siriaraya Panote;Yoshihisa Tomoki;Shimojo Shinji;Kawai Yukiko
• 通讯作者: Kawai Yukiko

Palm Happiness: A Location-Based Application to Promote Awareness of Everyday Happy Moments

掌上幸福：一款基于位置的应用程序，旨在提高人们对日常幸福时刻的认识

• DOI: 10.1145/3528575.3551432
• 发表时间: 2022
• 期刊: Adjunct Publication of the 24th International Conference on Human-Computer Interaction with Mobile Devices and Services
• 作者: Siriaraya Panote;Suzuki Kenta;She Wan Jou;Tanaka Ryotaro;Li Da;Narumoto Jin;Kuwahara Noriaki;Sumiya Kazutoshi;Nakajima Shinsuke
• 通讯作者: Nakajima Shinsuke