授業における非言語モダリティセンシングの高度化による情報保障・授業改善支援技術

通过提高课程中非语言情态感知的复杂性来支持信息安全和课程改进技术

• 批准号: 21H00901
• 负责人: 西崎 博光
• 金额: $ 10.15万
• 依托单位: University of Yamanashi
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H00901/
• 关键词: 音声認識; 話し方評価; 情報保障; 非言語モダリティセンシング; 音声字幕; 機械翻訳; 字幕作成; 行動分析; 話し方分析; 非言語現象の整形; 印象評定; 授業改善; 教室映像解析; 非言語情報; 深層学習; 授業改善支援; 映像分析

本研究の目的は，様々な形態で実施される授業において，講師の授業音声や受講者側の映像，教室内に設置されたカメラやマイクから取得した情報に含まれる非言語モダリティセンシング基盤技術の高度化を目的とする。そして，それを基に情報保障・授業改善支援技術を開発し，学生に対する授業のインプットの質を向上させ，教育改善が実現できることを実証する。2022年度の実績は次のとおりである。【非言語現象を考慮した音声認識技術による字幕・翻訳化】音声認識を阻害する要因である，不明瞭性，雑音・残響環境，言い直し・淀み・フィラー(「えーっと」などの有声休止)といった非言語現象に着目し，非言語現象を考慮した認識改善方法を研究した。加えて，発話に含まれる言語断片の解消などのテキストを整形する音声認識技術を開発し，これを用いることで理解しやすい翻訳文の字幕化技術を開発した。被験者実験によって，講演動画に開発した音声認識技術を用いて英語字幕を付与し，字幕の分かりやすさで評価したところ，本技術の有効性を確認することができた。【話し方を特徴付ける特徴量】話し方を特徴付ける特徴量を調査するために，大規模日本語音声コーパスを使った聴取実験（アンケート）の準備をおこなった。100人の被験者に約100発話（1分程度）の音声を聞いてもらい，聴きやすさ，理解しやすさなどの約30項目の印象評価をおこなったデータセットを収集するためのシステム開発をおこなった。【教室の映像・音 響センシング】教室に設置してあるカメラやマイクから得られた情報を用い，対面授業における受講生の行動分析技術を開発した。【成果とりまとめ】開発した各要素技術は，国内学会で発表をおこなった。また，雑誌論文ならびに国際会議論文にまとめ，投稿済みである。

这项研究的目的是改善非语言模态感应的基本技术，该技术包括在讲师的音频中，听众的视频以及从相机和各种形式安装在课堂上安装的麦克风获得的信息。基于此，我们将开发信息安全和支持技术，以改善课程的改进，并证明可以通过提高向学生的课程投入的质量来改善教育。 2022财政年度的结果如下。 [使用语音识别技术的字幕和翻译考虑了非语言现象]我们专注于非语言现象，例如默默无闻，噪音和混响环境，混响，停滞和填充物（暂停的暂停）（例如“ uhhhhh，”等），并研究了识别识别的方法，以提高识别方法，以提高识别的方法。此外，我们开发了塑造文本的语音识别技术，例如消除语音中包含的语言片段，并且通过使用此技术，我们开发了一项技术来为翻译句子创建字幕，以易于理解。在主题实验中，使用讲座视频开发的语音识别技术给出了英文字幕，并且在基于易于理解的易用性评估字幕时，确认了该技术的有效性。 [表征语音的功能]为了调查表征语音的特征，我们使用大规模的日本语音语料库准备了一项听力实验（问卷）。我们已经开发了一个系统来收集大约30个印象的数据集，其中包括100台演讲（约1分钟）来聆听音频，并对大约30件项目进行了分析，包括易于聆听和易于理解。 [课堂视频和声音感测]使用从相机和课堂上安装的麦克风获得的信息，我们开发了一项技术来分析学生在面对面课程中的行为。 [结果摘要]在国内学术会议上介绍了每种开发的基本技术。它也已在杂志论文和国际会议上进行了编译和提交。

项目成果

日本語音声認識結果の整形に基づく分かりやすい英語字幕の生成

基于日语语音识别结果的格式化生成易于理解的英文字幕

• 发表时间: 2023
• 作者: 氏間和仁;西本月那;今津麻衣;永井伸幸;大島研介;奥村智人;Shunpei Yamaguchi; Ritsuko Oshima; Jun Oshima; Ryota Shiina; Takuya Fujihashi; Shunsuke Saruwatari; Takashi Watanabe;杉浦未希子・水谷裕佳（編）;小野田正利;堀田慎，堀井こはる，北岡教英，西崎博光
• 通讯作者: 堀田慎，堀井こはる，北岡教英，西崎博光

Comparison of Static and Time-Sequential Features in Automatic Fluency Detection of Spontaneous Speech

自发语音自动流利度检测中静态特征与时序特征的比较

• DOI: 10.1109/o-cocosda202152914.2021.9660601
• 发表时间: 2021
• 期刊: Proceedings of the 24th Conference of the Oriental COCOSDA
• 作者: Deng Huaijin;Utsuro Takehito;Kobayashi Akio;Nishizaki Hiromitsu
• 通讯作者: Nishizaki Hiromitsu

Voice Activity Detection for Live Speech of Baseball Game Based on Tandem Connection with Speech/Noise Separation Model

基于语音/噪声分离模型串联的棒球比赛现场语音语音活动检测

• DOI: 10.21437/interspeech.2021-792
• 发表时间: 2021
• 期刊: Proceedings of INTERSPEECH2021
• 作者: Nonaka Yuto;Leow Chee Siang;Kobayashi Akio;Utsuro Takehito;Nishizaki Hiromitsu
• 通讯作者: Nishizaki Hiromitsu

A new speech corpus of super-elderly Japanese for acoustic modeling

用于声学建模的超长日语新语音语料库

• DOI: 10.1016/j.csl.2022.101424
• 发表时间: 2023
• 期刊: Computer speech and language
• 影响因子: 4.3
• 作者: Meiko Fukuda;Ryota Nishimura;Hiromitsu Nishizaki;Koharu Horii,Yurie Iribe;Kazumasa Yamamoto;Norihide Kitaoka
• 通讯作者: Norihide Kitaoka

Peer Collaborative Learningを用いた音響イベント区間検出

使用同伴协作学习进行声学事件部分检测

• 发表时间: 2022
• 作者: Hiroaki Seta;Shingo Yoshino;Kyoko Takashima;Teppei Unno;尾原 健太・氏間 和仁・今津 麻衣;Bo Wang and Tsunenori Mine;小野田正利;遠藤颯人，西崎博光
• 通讯作者: 遠藤颯人，西崎博光