口腔内超音波画像を用いた無声発話生成と認識に関する研究

基于口腔内超声图像的清音生成与识别研究

• 批准号: 20J15015
• 负责人: 木村 直紀
• 金额: $ 1.22万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J15015/
• 关键词: サイレントスピーチインタフェース; サイレントスピーチ

本研究では，空気振動を伴わずに話し言葉によるコミュニケーションを可能にする無声発話技術に関する研究を行なった．無声発話とは，声帯を振動させずに声道の調音運動のみを行う発話方法のことである．この時の調音運動に伴う脳波や神経信号，筋電位，筋肉の動きを測定することで，意図した発話内容の生成・認識を行うものである．無声発話では空気振動を伴わないため，発話・聴音に困難（気管切開，声帯の切除，高齢）を抱える人々に新しいコミュニケーション手段を提供できる可能性がある．さらに会議や電車内など,静かさが必要な場所での話し言葉を用いた交流やコンピュータの活用を実現する．またコンサート会場や飛行機内など，周囲の騒音が大きくて音声の理解やコンピュータによる音声認識が困難な場所での代わりの手段として機能する．前年度に引き続き，サイレントスペリングというインタラクションにエレクトロパラトグラフィー（Electropalatography，口蓋設置型下トラッキング静電容量アレイ）を組み合わせて研究を行なった．このセンサは口蓋に124個の電極を設置し，100Hzで舌の動きを捉える．このセンサと隠れマルコフモデルを使用した認識器を組み合わせることで，1164wordsの語彙において94%以上の精度での認識を実現した．本研究の成果は2022年4月に開催されたACM主催のConference on Human Factors in Computing Systems(CHI2022)においてフルペーパーとして発表された．

在这项研究中，我们对无声的语音技术进行了研究，这些技术允许无需空气振动就可以进行语音交流。无声的语音是一种语音方法，它仅在不振动声带的情况下执行声带的发音运动。通过测量与关节运动相关的脑波，神经信号，肌电势和肌肉运动，它可以生成并识别预期的语音内容。由于无声的言语不涉及空气振动，因此它可能会向有困难的言语和听力的人提供新的沟通方式（气管造口术，声带切除，老年人）。此外，它将使沟通和计算机能够在需要安静的地方（例如会议和火车上）使用口语。它还可以替代周围噪音大声的地方，例如音乐会场地和飞机，在这些地方很难理解语音识别和基于计算机的语音。在上一年之后，通过将无声拼写相互作用与电动造影（palatal安装的跟踪电容阵列）相结合来进行研究。该传感器在口感上有124个电极，并捕获了100Hz的舌头运动。通过使用隐藏的Markov模型将该传感器与识别器相结合，我们在1164个单词的词汇中获得了94％或更高的识别。这项研究的结果是在2022年4月举行的ACM托管的计算系统人为因素（CHI2022）会议上作为完整论文提出的。

项目成果

SilentSpeller: Towards mobile, hands-free, silent speech text entry using electropalatography

• DOI: 10.1145/3491102.3502015
• 发表时间: 2022-04
• 期刊: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems
• 作者: N. Kimura;Tan Gemicioglu;Jon Womack;Richard Li;Yuhui Zhao;Abdelkareem Bedri;Zixiong Su;A. Olwal;J. Rekimoto;Thad Starner

Mobile, Hands-free, Silent Speech Texting Using SilentSpeller

使用 SilentSpeller 进行移动、免提、无声语音短信

• 发表时间: 2021
• 作者: Naoki Kimura;Tan Gemicioglu;Jonathan Womack;Richard Li;Yuhui Zhao;Abdelkareem Bedri;Alex Olwal;Jun Rekimoto;Thad Starner
• 通讯作者: Thad Starner

ジョージア工科大学(米国)

佐治亚理工学院（美国）