情報学と神経科学を融合した音楽コンテンツに対する嗜好の推定・活用・制御技術の研究

结合信息学和神经科学研究估计、利用和控制音乐内容偏好的技术

基本信息

批准号：
21H04917
负责人：
後藤真孝
金额：
$ 27.04万
依托单位：
National Institute of Advanced Industrial Science and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (A)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-05 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H04917/
关键词：
音楽情報処理嗜好推定鑑賞支援創作支援音楽解析音楽推薦

项目摘要

本研究課題では、情報学（特に音楽情報処理、音響信号処理、機械学習、情報推薦、ヒューマンコンピュータインタラクション）と神経科学を融合したアプローチによって、音楽コンテンツ（楽曲や音楽動画）に対する個人の嗜好（好き嫌い）を推定する方法を実現し、推定した嗜好の有用性を、音楽コンテンツの鑑賞支援等の目的に活用して実証すること等を目指している。2年目の2022年度は、前年度に着手した「嗜好の推定」と「嗜好の活用」に継続して取り組んだ。情報学に基づくアプローチとして、音楽コンテンツに対する嗜好を推定する技術を発展させるために、自己教師あり対照学習の枠組みを利用して、音楽音響信号の距離学習のためのいくつかの手法を提案・実現した。たとえば、IEEE/ACM Transactions on Audio, Speech and Language Processingに採択された論文成果は、自己教師あり対照学習による歌声の特徴量表現獲得手法を実現し、楽曲中の歌声の類似度をより的確に推定することを可能にした。また、歌声以外も含む楽曲全体の距離学習手法も実現した。さらに、嗜好を活用して音楽推薦が可能な個人適応型の鑑賞支援インタフェースを実現し、前年度から開発中の独自の音楽推薦手法を、データ規模を拡大しつつ、音楽サービス上に組み込んでユーザによる利用を可能にした。一方、神経科学に基づくアプローチとして、簡易生理指標データに基づく音楽の嗜好推定のためのモデル開発に取り組み、得られた成果の一部を国際会議ISMIR 2022のLate-Breaking/Demo Sessionで発表した。また、生理計測実験とfMRIによる非侵襲脳機能計測実験の二つを被験者毎に同じ楽曲群で行って取得できるペアデータを機械学習するために、その同時計測実験をパイロット実験実施後に42名の被験者を対象に実施し、データ解析をした。

该研究项目采用信息学（特别是音乐信息处理、声学信号处理、机器学习、信息推荐、人机交互）和神经科学相结合的方法来分析个人对音乐内容（歌曲和音乐视频）的偏好（喜欢和不喜欢）），并旨在通过将估计的偏好用于支持音乐内容的欣赏等目的来证明其有用性。在第二年的2022财年，我们继续了前一年开始的“偏好估计”和“偏好利用”工作。作为一种基于信息学的方法，我们提出并实现了几种使用自监督对比学习框架进行音乐声信号远程学习的方法，以开发估计音乐内容偏好的技术。例如，IEEE/ACM Transactions on Audio, Speech and Language Processing 接受的论文结果实现了一种利用自监督对比学习获取歌声特征表示的方法，更准确地估计歌曲中歌声的相似度使之成为可能。此外，还实现了整首歌的远程学习方法，包括歌声以外的部分。此外，我们将实现可根据用户喜好推荐音乐的个性化自适应聆听支持界面，并将自去年以来一直在开发的独特音乐推荐方法融入到音乐服务中，同时扩大数据规模。可供使用。同时，作为一种基于神经科学的方法，我们致力于开发一种基于简单生理指标数据来估计音乐偏好的模型，并在 ISMIR 2022 国际会议的最新/演示会议上展示了获得的一些结果。此外，为了对每个受试者使用相同歌曲组进行生理测量实验和使用 fMRI 的非侵入性脑功能测量实验获得的配对数据进行机器学习，我们进行了同步测量实验该研究对 42 人进行了试点实验并进行了数据分析。