Development of wearable device for speech restoration due to laryngeal cancer.

开发用于喉癌言语恢复的可穿戴设备。

• 批准号: 22KJ0795
• 负责人: 竹内 雅樹
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0795/
• 关键词: 電気式人工喉頭; ニューラルネットワーク; 機械学習; 振動子; 振動音

まずハンズフリー型のELを開発する上での一番の問題になっている振動音の漏れの原因がどこにあるかを探った。すると現在使用している振動子、ならびに現在の振動音の作製方法に問題があることが分かった。そこで複数の振動子ならびにファンクションジェネレータを購入して、電圧ならびに周波数を変化させて実際に購入した振動子に正弦波を加振して、首に当てて、実際にどのように聞こえるかを音声と映像を記録して比較実験を行った。その結果、100Hzから1000Hz全てにおいて満遍なく明瞭な声となりかつ振動音漏れの少ない振動子は無かった。そのため、研究実施計画を変更し、振動音の作成方法をLPC残差波を用いた方法でなく、ニューラルネットワークモデルを用いて機械学習を行い作成する、という方針に変更した。この理由は先述した比較実験において、音量、重さ、必要となる電力のすべての条件で従来の電気式人工喉頭に使用されている振動子の性能を超えられる振動子が見つからなかったためである。振動音を良くすることで振動子については一般化できる、すなわちどの振動子を用いてもより明瞭な声で届けられることを目的としている。現時点で振動音を作成するためのニューラルネットワークモデルは様々な改良をしており、次年度中にこのモデルを用いて作成した新たな振動音を用いて、開発したデバイスの客観的評価を行う予定でいる。ユーザーテストまでこぎつけて、主観的評価までできれば論文や国際会議での発表も可能になると考えている。また、自動で振動音のON/OFF制御を可能にするということについては、自動ではないが、曲げセンサを用いて首を曲げるだけでハンズフリーで振動音のON/OFFを制御できる機構を今年度中に作成することができた。そして今年度は2本国内誌で(そのうち1本は英訳され英語論文誌で)論文が掲載された。

首先，我们探索了振动声音泄漏的原因，这是开发无动用EL的最大问题。事实证明，当前的振动器以及如何使当前的振动声音存在问题。因此，购买多个活力和功能生成器，更改电压和频率，振动实际购买的振动器，撞到脖子，撞到脖子，以及我们录制的视频并进行了比较实验。结果，没有振动均匀清晰清晰，从100 Hz到1000Hz，振动声音泄漏较小。因此，更改了研究计划，并更改了政策以创建和创建机器学习，而不是使用LPC残基。这样做的原因是，在上述比较实验中，在体积，重量和所需的电力的所有条件下，都没有超过常规电气人工喉部使用的振动器的性能。目的是通过改善振动声音来改善振动声音，即使用任何振动器以更清晰的声音传递。目前，用于创建振动声音的神经网络模型已通过各种方式进行了改进，计划在下一个财政年度使用此模型创建的新振动声音进行了对开发设备的评估。我们相信，如果您可以进行用户测试，并且可以进行主观评估，则可以发布论文或国际会议。另外，它不是自动启用振动声音的ON/OFF控制，但是现在它可以通过使用弯曲传感器来弯曲颈部来控制振动声的ON/OFF在这一年。今年，一篇论文发表在两本国内杂志上（其中一篇文章在英语杂志上翻译成英语）。

项目成果

竹内雅樹さんらの研究がCNNで取り上げられました。

美国有线电视新闻网 (CNN) 专题报道了竹内正树 (Masaki Takeuchi) 的研究。

Development of a hands‐free electrolarynx for obtaining a human‐like voice using the LPC residual wave

• DOI: 10.1002/eej.23409
• 发表时间: 2022-09
• 期刊: Electrical Engineering in Japan
• 影响因子: 0.4
• 作者: Masaki Takeuchi;Y. Soejima;Jaesol Ahn;Kunhak Lee;Ken Takaki;T. Ifukube;Ken-ichiro Yabu;Shinnosuke Takamichi;Masaki Sekino

機械はどこまで人の声に近づけるのか？【Syrinx（サイリンクス）開発者、竹内雅樹氏】

机器的声音能有多接近人类的声音？

失われた声を取り戻す次世代のハンズフリー型EL「Syrinx（サイリンクス）」

Syrinx，可恢复失声的下一代免提 EL

Restoring Lost Voices

恢复失去的声音