Development of Artificial Intelligence that Simulates Human Kansei for Melodies Written in Music Notation

开发模拟人类感性的乐谱旋律人工智能

• 批准号: 22K12329
• 负责人: 川村 暁
• 金额: $ 1.75万
• 依托单位: Iwate University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12329/
• 关键词: 感性情報処理; 楽器演奏者; テンポ; 機械学習; 深層ニューラルネットワーク; 楽譜; 吹奏楽器演奏者; 感性情報; 人工知能

楽器演奏者の楽譜（旋律）演奏におけるテンポや印象などの感性情報を得るため被験者実験を行っている．楽譜（旋律）は，本科研費およびJP18K11598の助成で構築した820旋律を用いた．被験者の楽器は吹奏楽器とピアノである．被験者８名が実験中である．これまでの被験者実験の結果をデータベース化し分析基盤を構築中である．実験が完了している12名のデータを入力した．集成されたデータに基づきクロス分析する際の指標について検討中である．データセットの元である楽譜の，作曲年代・作曲者・種別などを指標とした解析を行う基盤となる．このような，録音された音のデータセットでは無く，楽譜と感性情報処理の結果（楽譜と，楽譜を演奏したときのテンポ・好き嫌いなど）の対になったデータセットは特異である．これまでに集成した楽譜とテンポを用いて，数値化した楽譜からテンポのはやい・おそいを機械学習し学習に用いていない評価用の楽譜のテンポのクラスを模擬できるか計算機実験を行っている．ある楽器演奏者の推定したテンポをデータとし，前処理に自己符号化器を用いた深層ニューラルネットワーク（入力層１，中間層１１，出力層１）とし，Optunaにより最適パラメータを検索した結果，学習用データの認識率は99.8%，評価用データの認識率は83.9%となった．引き続き，学習に用いていない評価用データの認識率の向上，および，他の被験者の推定したテンポのクラス分類について機械学習を行っている．

我们正在进行一项主题实验，以获取乐器演奏者演奏乐谱（旋律）时的节奏和印象等感官信息。所使用的乐谱（旋律）是在科学研究补助金和JP18K11598的支持下构建的820首旋律。受试者的乐器是管乐器和钢琴。实验共有 8 名受试者。我们正在创建以前课题实验结果的数据库并构建分析平台。我们输入了 12 名完成实验的人的数据。我们目前正在考虑根据收集到的数据进行交叉分析的指标。这是使用作曲年份、作曲家、类型等指标分析构成数据集基础的乐谱的基础。这类数据集是独一无二的，因为它不是记录声音的数据集，而是乐谱和感官信息处理结果的配对数据集（乐谱和节奏，播放乐谱时的喜欢和不喜欢） ， ETC。）。使用我们迄今为止收集的乐谱和节奏，我们正在进行计算机实验，看看我们是否可以从数字化乐谱中机器学习快节奏和慢节奏，并模拟不用于学习的评估乐谱的节奏类别。使用某个乐器演奏者的估计节奏作为数据，使用自动编码器的深度神经网络（输入层1，中间层11，输出层1）进行预处理，并作为使用Optuna搜索最佳参数的结果，学习使用数据识别率为99.8%，评价数据识别率为83.9%。我们正在继续进行机器学习，以提高不用于学习的评估数据的识别率，并对其他受试者估计的节奏进行分类。

项目成果

ある木管楽器演奏者が推定したテンポの深層ニューラルネットワークによる模擬

使用深度神经网络模拟木管乐器演奏者估计的节奏

• 发表时间: 2022
• 作者: 川村 暁;劉 忠達;村上 武;渡部謙一;長谷川正規;牛渡克之;白藤淳一;吉田等明
• 通讯作者: 吉田等明