Research on figure models of speech articulators and a speaking robot development based on speech articulators' motions measurements

发音器官体形模型研究及基于发音器官运动测量的说话机器人开发

• 批准号: 20K11876
• 负责人: 平山 亮
• 金额: $ 2.75万
• 依托单位: Osaka Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11876/
• 关键词: 音声生成; 調音器官模型; 調音運動計測; 発話ロボット; 音声発話ロボット

本研究は、発話調音運動計測とその解析にもとづき、調音器官の模型製作、さらに音声発話ロボットの開発へと挑戦していくものである。研究開始からほぼ２年間はコロナ禍による在宅勤務などの制限により本研究の主要な部分である被験者を使った調音運動計測、研究室設置機器を使った模型製作は進まなかったが、3年目となる令和４年度は制限も緩和し、模型製作をはじめとする研究を再開することができた。当初計画にあったヒトを被験者として外部機関で実行する予定であったMRIによる発話調音運動計測実験については外部機関の入館制限、発話実験であるため被験者がマスクを外す必要があり十分なエアロゾル対策ができないことから、計画から削除した。令和4年度の主たる成果は、3Dプリンタを用いて、調音器官の模型製作を進めたことである。上顎、下顎、舌骨といった骨の模型を製作した。３Ｄモデリングソフトウェアを使って、過去の計測データや解剖図鑑などを参考に形状を設計し、実物大の顎模型、舌骨模型の製作を行った。また従来研究で行っていた舌、唇の粘弾性模型を再設計して製作し、それらを組み合わせて調音器官動作を検討した。模型製作を中心とするこれらの研究成果は、画像電子学会、IWAIT2023国際会議で成果発表を行った。もう一つの主要な成果はコロナ禍で延期されていた国立民族学博物館の特別展「しゃべるヒト－ことばの不思議を科学する」が9月1日～11月23日に実施され、音声生成チームの一員として展示構成作成に協力し、調音器官模型などの研究成果を展示したことである。音声生成機構の研究を説明するポスター展示も行った。また言語の身体的産出についての説明の原稿作成も行った。

这项研究将面临创建铰接器官模型并根据测量和言语表达运动分析开发语音说话机器人的挑战。在研究开始后的将近两年的时间里，由于诸如由于Covid-19的大流行而在家中工作的限制，这项研究的主要部分在使用实验室设备的受试者和模型生产的表达运动测量中并没有进行，但是在研究的第三年，限制并研究了限制，包括模型生产，能够恢复模型。使用MRI测量语音表达运动的实验，该实验最初计划由外部机构与人类作为受试者进行，因为它限制了对外部机构的录取的限制，并且由于是语音实验，因此受试者必须删除其面具，并且不能接受足够的气溶剂对抗。 2022年的主要成就是使用3D打印机来开发发音器官的模型。产生了上颌，下颌和舌骨等骨骼的模型。使用3D建模软件，该形状是使用过去的测量数据和解剖学百科全书以及生命大小的下颌和舌骨模型的产生设计的。此外，我们重新设计并创建了以前在研究中进行的舌头和嘴唇的粘弹性模型，并将它们结合在一起以检查发音器官的行为。这些研究结果主要是关于模型生产的，在日本的成像和电子学会和IWAIT2023国际会议上提出。另一个重大成就是在9月1日至11月23日举行的国家民族学博物馆的特别展览“说话的人类 - 奇妙的科学”，该博物馆被推迟，该博物馆已被推迟，该博物馆被推迟了，从9月1日至11月23日举行，作为Audio Generation Team的成员，他在创建展览组成和展示的研究器模型中，像ARTICENTING ORDICATION REANSION ORGATENTIRS模型。还举行了海报展览，以解释对音频产生机制的研究。他还准备了一个手稿来解释语言的物理产生。

项目成果

3Dプリンタによる博物館展示用模型の製作

使用3D打印机制作博物馆展示模型

• 发表时间: 2023
• 作者: Haruka MATSUHASHI;Izumi TSUNOKUNI;Yusuke IKEDA;平山亮
• 通讯作者: 平山亮

3Dプリンタによる音声生成器官模型の試作

使用 3D 打印机制作发声器官模型的原型

• 发表时间: 2021
• 作者: 藤本崇人;橋本佳;南角吉彦;徳田恵一;平山亮
• 通讯作者: 平山亮

3D modeling and 3D printing of human jaws for speech production research and education

用于语音生成研究和教育的人颌 3D 建模和 3D 打印

• DOI: 10.1117/12.2670529
• 发表时间: 2023
• 期刊: Proceedings of SPIE
• 作者: Makoto J. Hirayama

A finger motion traking system for Japanese sign language demonstrations

用于日本手语演示的手指运动跟踪系统

• 发表时间: 2021
• 作者: Makoto J. Hirayama;Akira Asada;and Ritsuko Kikusawa
• 通讯作者: and Ritsuko Kikusawa