実世界サウンドユーザインタフェースにおけるリアルタイムインストラクション開発環境

具有真实声音用户界面的实时指令开发环境

基本信息

批准号：
22H03625
负责人：
高橋伸
金额：
$ 11.15万
依托单位：
University of Tsukuba
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03625/
关键词：
サウンドUI

项目摘要

今年度は「リアルタイムサウンドインストラクション（以下，RSI）のデザインと体系化」及び「RSI を作業状況・動作に同期させる機構」について重点的に研究を開始した．「RSI のデザインと体系化」については，今年度は既存の音楽の音量やテンポを加工する方法を検討し調査した．前者については，トレーニング中の姿勢の角度を音量と結びつけることで，その正しさ等の情報を伝えることを試みた．ユーザ実験を行ったところ，ユーザに姿勢情報を一定程度伝えることができたことが確認できた．また，伝達された情報がユーザに対するフィードバックとして作用し，ユーザのモチベーション向上につながる可能性を確認できた．後者については，複数人の平均動作リズムを動的に計算して提示する手法を実装し予備的評価を行った．実験結果は実験参加者のグループにより効果が異なっていたが，うまく用いるとやはり参加者のモチベーション向上につながる可能性が確認された．「RSI を作業状況・動作に同期させる機構」については，今年度は人間行動認識(HAR)の各種技術を調査を開始した．その中でも，行動や動作を元に少し先の姿勢を予測する方法に着目した．現在の姿勢認識に基づいてフィードバックを行う方法では必然的に遅れが発生する．適切なタイミングでフィードバックを行うためには，少し先の姿勢を予測し，その姿勢の評価に基づいてフィードバックを行う方法に利点があると期待できる．また，もう一つの研究項目である「RSI のシナリオベース開発環境」についても，これまでにビジュアルプログラミングの手法を用いて，認識結果と音出力を対応づける環境の試作を行うことができた．

今年，我们开始重点研究“实时声音指令（以下简称RSI）的设计和系统化”以及“RSI与工作情况和动作同步的机制”。关于“RSI的设计和系统化”，今年我们调查和研究了修改现有音乐的音量和节奏的方法。对于前者，我们尝试通过将训练期间的姿势角度与音量联系起来来传达姿势正确性等信息。当我们进行用户实验时，我们确认我们能够在一定程度上向用户传达姿势信息。此外，我们还能够确认传输的信息可以作为对用户的反馈，并有可能提高用户的积极性。对于后者，我们实现了动态计算并呈现多人平均运动节奏的方法，并进行了初步评估。尽管实验结果表明，效果因参与者群体而异，但已证实，如果使用得当，可以提高参与者的积极性。关于“将 RSI 与工作情况和动作同步的机制”，今年我们开始研究各种人类动作识别 (HAR) 技术。其中，我们重点关注一种根据动作和动作提前预测姿势的方法。目前基于姿势识别提供反馈的方法不可避免地会造成延迟。为了在适当的时间提供反馈，可以预期稍微提前预测姿势并基于该姿势的评估提供反馈的方法具有优势。关于另一个研究项目“RSI的基于场景的开发环境”，我们已经能够使用可视化编程技术将识别结果与声音输出相关联的环境原型化。