Analysis, Recognition, Manipulation and Generation of Music Signal and Information based on Mathematical Models

基于数学模型的音乐信号和信息的分析、识别、操纵和生成

• 批准号: 20240017
• 负责人: SAGAYAMA Shigeki
• 金额: $ 23.96万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20240017/
• 关键词: 音楽信号解析; 信号加工; 音楽情報処理; 多重音解析; 調波時間クラスタリング; 非負値行列分解; 調波音打楽器音信号分離; 位相復元; 速度変換; ピッチ変換; パート分離; 歌声抽出; 歌声消去; 和声推定; リズム解析; 自動小節分割; 楽曲ジャンル認識; リズム構造推定; Dynamic Bayesian Net音楽モデル; 自動採譜; 作曲家推定; 楽譜自動演奏; 自動対位法; 自動歌唱作曲; 機能和声データベース; 調波音打楽器音分離; 自

An diverse research area has been actively investigated in analysis, recognition, manipulation and generation of music signal and information resulting in numerous excellent results. They include quite a wide range of research achievements such as multipitch estimation method (called HTC) based on a model of multiple concurrent music sounds and another method based on non-negative matrix factorization (NMF), harmonic-percussive sound separation (HPSS), high-quality signal manipulation (e.g., music tempo and pitch modification) based on restoration of phase components from power spectrogram, part separation form stereophonic music recordings, vocal sound extraction and deletion from ensemble music signals based on spectral fluctuation of human voice, chord estimation from music signals, automatic extraction of constituent rhythms (RhythmMap) in music signals and bar-line segmentation, music genre and mood recognition based on the previous method, rhythm estimation in polyphonic music signals and application to automatic music transcription, music modeling and automatic transcription based on dynamic Bayesian network to integrate hierarchical layers from music theory to signal observations, composer identification from score data, automatic music performance rendition using conditional random field, automatic counterpoint with imitation of music motives, automatic song composition based on intrinsic intonation of Japanese lyrics, and building functional harmony database. These achievements have been made public through journal papers, international conferences, review papers, domestic academic presentations, web service for automatic music composition, and public media.

在分析，识别，操纵和音乐信号和信息的分析，操纵和生成中，已经积极研究了一个多样化的研究领域，从而产生了许多出色的结果。它们包括基于多种并发音乐声音的模型和另一种基于非负矩阵分解（NMF），谐波声音分离（HPSS），基于高质量信号操纵（例如，音乐节奏和音调的阶段组合）基于多种并发的矩阵分离（NMF），基于多种并发的矩阵分解（NMF），基于多种并发的矩阵分解（NMF）的模型，包括多种研究方法（称为HTC）等广泛的研究成就（称为HTC）（称为HTC）（称为HTC），录音，声音的提取和从集合音乐信号的录音，基于人类声音的光谱波动，音乐信号的弦估算，音乐信号的组成节奏自动提取（Rhythmmap）在音乐信号和条形线段中的自动提取，并基于先前的音乐估计音乐的频率和情绪识别音乐，并估计音乐流派，并进行自动估计音乐，从而自动估计音乐，从而自动估计音乐，从而自动估计音乐，从而自动估计音乐，并在音乐信号上进行自动估算，贝叶斯网络将从音乐理论到信号观察的层次结构层，来自得分数据的作曲家识别，使用条件随机字段的自动音乐性能进行，自动对立，模仿音乐动机，基于日本歌词的内在语调以及构建功能和谐数据库的自动歌曲作曲。这些成就已通过期刊论文，国际会议，评论论文，国内学术演讲，用于自动音乐组成的网络服务和公共媒体公开。

项目成果

Computational auditory induction as a missing-data model-fitting problem with Bregman divergence

• DOI: 10.1016/j.specom.2010.08.009
• 发表时间: 2011-05
• 期刊: Speech Commun.
• 作者: Jonathan Le Roux;H. Kameoka;Nobutaka Ono;A. Cheveigné;S. Sagayama

調波音・打楽器音分離手法を用いた音楽音響信号からの自動和音認識

使用和声和打击乐分离技术从音乐声信号中自动识别和弦

• 发表时间: 2009
• 作者: Takayuki Ito;Mark Klein;and Hiromitsu Hattori;内山裕貴,宮本賢一,西本卓也,小野順貴,嵯峨山茂樹
• 通讯作者: 内山裕貴,宮本賢一,西本卓也,小野順貴,嵯峨山茂樹

調波成分分析によるブラインド音楽信号分離の検討

基于谐波分量分析的盲音乐信号分离研究

• 发表时间: 2008
• 作者: Wen Ji;Makoto Hamaminato;Hiroshi Nakayama;Satoshi Goto;Yuko Muroyama Tetsuichiro Saito;小野順貴,細谷弘,和泉洋介,嵯峨山茂樹
• 通讯作者: 小野順貴,細谷弘,和泉洋介,嵯峨山茂樹

Speech Spectrum Modeling for Joint Estimation of Spectral Envelope and Fundamental Frequency

• DOI: 10.1109/tasl.2009.2036287
• 发表时间: 2010-08
• 期刊: IEEE Transactions on Audio, Speech, and Language Processing
• 作者: H. Kameoka;Nobutaka Ono;S. Sagayama

Music and speech signal processing using harmonic-temporal clustering

使用谐波时间聚类进行音乐和语音信号处理

• 发表时间: 2008
• 期刊: Proc. of Acoustics' 08
• 作者: Jonathan Le Roux;Hirokazu Kameoka;Nobutaka Ono;Alain de Cheveigne;Shigeki Sagayama
• 通讯作者: Shigeki Sagayama