聴覚モデルに基づく新しい人工内耳による音声・音楽信号処理の研究

基于听觉模型的新型人工耳蜗的语音和音乐信号处理研究

基本信息

批准号：
21650036
负责人：
北澤茂良
金额：
$ 2.05万
依托单位：
Shizuoka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Exploratory Research
财政年份：
2009
资助国家：
日本
起止时间：
2009 至 2010
项目状态：
已结题

项目摘要

前年度からの研究の継続して、抽出したMIDI等の音楽情報からの主旋律を、小節またはフレーズなどの所定単位で分割し、その各分割旋律について音階と音程を解析して、時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める。求めた音階セットの音程列を略維持しつつ、人工内耳音階に含まれる異なる音階を数多く含むように、音階セットを移調する。この移調した音階セットを拡張音階セットとする。この場合、人工内耳音階を含む音階セットを複数探索し、人工内耳音階に含まれる異なる音階を最も多く含む移調した音階セットを拡張音階セットとする。またこのとき、音階を高調波及び低調波に展開した音階マップを用いる。そして、求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換して、出力する。これまで、人工内耳音階への割付による歪のため、原曲とは異なり、音痴気味になり、また、キーが高すぎて歌唱に適さない問題点があったが、本年度は、拡張人工内耳音階とすることによって、健聴者および人工内耳装用者にとって違和感のないメロディを提供できた。日本の童謡130曲を対象とし、拡張人工内耳音階に基づく編曲を作成した。約8割の曲が拡張人工内耳音階に移調できた。浜松医大にて7名の被験者の協力を得て、編曲を完了した曲の聴取評価を行った。その結果、変換により、延べ聴取実験曲数114曲中57曲が原曲に比べて評価が上がった。原曲よりも拡張人工内耳音階曲にした方が人工内耳装用者にとって音楽らしく聴こえる人が半分いる。曲による違い、個人差が大きいが、たとえ評価が良くなった方が少数であっても、その方のQOLにとっては良いことであり、意義あると考える。共同研究先の信州大学および浜医大および本学の倫理委員会で承認を得た。

从上一年的继续研究，将提取的音乐信息（例如MIDI）的主要旋律分为预定的单元，例如测量或短语，以及每个分隔的旋律的尺度和音高，以获得由按年代学顺序排列的比例序列和音高序列的尺度序列组成的量表集。量表集被转置为包括人工耳蜗尺度中包含的许多不同尺度，同时基本上维护了所获得的量表集的螺距序列。此转置比例集是扩展比例集。在这种情况下，搜索了包括人工耳蜗的多个秤集，并且包含大多数的人工耳蜗植入物中包含的大多数尺度的刻度集集是扩展比例集。目前，使用量表扩展为谐波和亚肝素的量表图。然后将获得的扩展比例集的比例顺序转换为对应于预定语音带中包含的比例，并输出。到目前为止，由于与人工耳蜗植入量表的分配引起的失真，与原件不同，它已经有点扭曲了，而且关键太高了，难以使唱歌不适合唱歌。基于扩展的人工耳蜗量表创建了安排，以130个日本托儿所押韵。大约80％的歌曲被转移到扩展的人工耳蜗量表。随着在哈马马松医科大学的七个科目的合作，进行了安排的歌曲的聆听和评估。结果，由于转换，评估了114个听力实验的总数中有57个高于原始数量。如果他们使用扩展的人工耳管植入量表，那么一半的人可以听到更像人工耳蜗的音乐。歌曲和个体差异之间存在很大的差异，但是即使少数人得到更好的评估，也对该人的QoL有意义，而且有意义。它得到了新月大学，哈马医科大学的伦理委员会和我们的大学的批准。