Analysis, Recognition, Manipulation and Generation of Music Signal and Information based on Mathematical Models

基于数学模型的音乐信号和信息的分析、识别、操纵和生成

• 批准号: 20240017
• 负责人: SAGAYAMA Shigeki
• 金额: $ 23.96万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20240017/
• 关键词: 音楽信号解析; 信号加工; 音楽情報処理; 多重音解析; 調波時間クラスタリング; 非負値行列分解; 調波音打楽器音信号分離; 位相復元; 速度変換; ピッチ変換; パート分離; 歌声抽出; 歌声消去; 和声推定; リズム解析; 自動小節分割; 楽曲ジャンル認識; リズム構造推定; Dynamic Bayesian Net音楽モデル; 自動採譜; 作曲家推定; 楽譜自動演奏; 自動対位法; 自動歌唱作曲; 機能和声データベース; 調波音打楽器音分離; 自

An diverse research area has been actively investigated in analysis, recognition, manipulation and generation of music signal and information resulting in numerous excellent results. They include quite a wide range of research achievements such as multipitch estimation method (called HTC) based on a model of multiple concurrent music sounds and another method based on non-negative matrix factorization (NMF), harmonic-percussive sound separation (HPSS), high-quality signal manipulation (e.g., music tempo and pitch modification) based on restoration of phase components from power spectrogram, part separation form stereophonic music recordings, vocal sound extraction and deletion from ensemble music signals based on spectral fluctuation of human voice, chord estimation from music signals, automatic extraction of constituent rhythms (RhythmMap) in music signals and bar-line segmentation, music genre and mood recognition based on the previous method, rhythm estimation in polyphonic music signals and application to automatic music transcription, music modeling and automatic transcription based on dynamic Bayesian network to integrate hierarchical layers from music theory to signal observations, composer identification from score data, automatic music performance rendition using conditional random field, automatic counterpoint with imitation of music motives, automatic song composition based on intrinsic intonation of Japanese lyrics, and building functional harmony database. These achievements have been made public through journal papers, international conferences, review papers, domestic academic presentations, web service for automatic music composition, and public media.

人们在音乐信号和信息的分析、识别、操纵和生成方面积极研究了不同的研究领域，取得了许多优异的成果。其中包括相当广泛的研究成果，例如基于多个并发音乐声音模型的多音高估计方法（称为HTC）以及基于非负矩阵分解（NMF）、和声打击乐分离（HPSS）的方法、基于从功率谱图恢复相位分量、立体声音乐录音的部分分离、基于人类频谱波动的合奏音乐信号中的声乐提取和删除的高质量信号处理（例如音乐节奏和音调修改）语音、音乐信号中的和弦估计、音乐信号中的构成节奏（RhythmMap）的自动提取和小节线分割、基于先前方法的音乐流派和情绪识别、复调音乐信号中的节奏估计及其在自动音乐转录、音乐中的应用基于动态贝叶斯网络的建模和自动转录，集成从音乐理论到信号观察的层次结构、从乐谱数据识别作曲家、使用条件随机场自动音乐演奏、模仿音乐动机的自动对位、基于内在语调的自动歌曲创作的日语歌词，构建功能和声数据库。这些成果已通过期刊论文、国际会议、评论论文、国内学术报告、自动作曲网络服务和公共媒体等方式向公众公开。

项目成果

Computational auditory induction as a missing-data model-fitting problem with Bregman divergence

• DOI: 10.1016/j.specom.2010.08.009
• 发表时间: 2011-05
• 期刊: Speech Commun.
• 作者: Jonathan Le Roux;H. Kameoka;Nobutaka Ono;A. Cheveigné;S. Sagayama

調波成分分析によるブラインド音楽信号分離の検討

基于谐波分量分析的盲音乐信号分离研究

• 发表时间: 2008
• 作者: Wen Ji;Makoto Hamaminato;Hiroshi Nakayama;Satoshi Goto;Yuko Muroyama Tetsuichiro Saito;小野順貴,細谷弘,和泉洋介,嵯峨山茂樹
• 通讯作者: 小野順貴,細谷弘,和泉洋介,嵯峨山茂樹

調波音・打楽器音分離手法を用いた音楽音響信号からの自動和音認識

使用和声和打击乐分离技术从音乐声信号中自动识别和弦

• 发表时间: 2009
• 作者: Takayuki Ito;Mark Klein;and Hiromitsu Hattori;内山裕貴,宮本賢一,西本卓也,小野順貴,嵯峨山茂樹
• 通讯作者: 内山裕貴,宮本賢一,西本卓也,小野順貴,嵯峨山茂樹

Note detection with dynamic Bayesian networks as a postanalysis step for NMF-based multiple pitch estimatipn techniques

使用动态贝叶斯网络进行音符检测作为基于 NMF 的多音高估计技术的后分析步骤

• 发表时间: 2009
• 作者: Stanislaw Andrzej Raczynski;Nobutaka Ono;Shigeki Sagayama
• 通讯作者: Shigeki Sagayama

A Sparse Component Model of Source Signals and Its Application to Blind Source Separation

源信号稀疏分量模型及其在盲源分离中的应用

• 发表时间: 2010
• 作者: Yu Kitano;Hirokazu Kameoka;Yosuke Izumi;Nobutaka Ono;Shigeki Sagayama
• 通讯作者: Shigeki Sagayama