授業における非言語モダリティセンシングの高度化による情報保障・授業改善支援技術

通过提高课程中非语言情态感知的复杂性来支持信息安全和课程改进技术

基本信息

批准号：
21H00901
负责人：
西崎博光
金额：
$ 10.15万
依托单位：
University of Yamanashi
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究の目的は，様々な形態で実施される授業において，講師の授業音声や受講者側の映像，教室内に設置されたカメラやマイクから取得した情報に含まれる非言語モダリティセンシング基盤技術の高度化を目的とする。そして，それを基に情報保障・授業改善支援技術を開発し，学生に対する授業のインプットの質を向上させ，教育改善が実現できることを実証する。2022年度の実績は次のとおりである。【非言語現象を考慮した音声認識技術による字幕・翻訳化】音声認識を阻害する要因である，不明瞭性，雑音・残響環境，言い直し・淀み・フィラー(「えーっと」などの有声休止)といった非言語現象に着目し，非言語現象を考慮した認識改善方法を研究した。加えて，発話に含まれる言語断片の解消などのテキストを整形する音声認識技術を開発し，これを用いることで理解しやすい翻訳文の字幕化技術を開発した。被験者実験によって，講演動画に開発した音声認識技術を用いて英語字幕を付与し，字幕の分かりやすさで評価したところ，本技術の有効性を確認することができた。【話し方を特徴付ける特徴量】話し方を特徴付ける特徴量を調査するために，大規模日本語音声コーパスを使った聴取実験（アンケート）の準備をおこなった。100人の被験者に約100発話（1分程度）の音声を聞いてもらい，聴きやすさ，理解しやすさなどの約30項目の印象評価をおこなったデータセットを収集するためのシステム開発をおこなった。【教室の映像・音響センシング】教室に設置してあるカメラやマイクから得られた情報を用い，対面授業における受講生の行動分析技術を開発した。【成果とりまとめ】開発した各要素技術は，国内学会で発表をおこなった。また，雑誌論文ならびに国際会議論文にまとめ，投稿済みである。

本研究的目的是开发非语言情态感知基础技术，该技术包含在讲师的讲座音频、学生的视频以及从安装在教室中的摄像机和麦克风中获取的信息中，以各种形式进行课程。在此基础上，我们将开发信息安全和课堂改进支持技术，提高学生的课堂输入质量，并证明改善教育是可能的。 2022 财年的结果如下。 [使用考虑非语言现象的语音识别技术进行字幕和翻译] 阻碍语音识别的因素包括歧义、噪音、混响环境、改述、停滞和填充物（诸如“嗯”之类的语音停顿）。 -言语现象并研究考虑非言语现象的识别改进方法。此外，我们还开发了语音识别技术，通过消除话语中包含的语言片段来格式化文本，并利用该技术，我们开发了为翻译文本创建更容易理解的字幕的技术。在受试者实验中，我们利用开发的语音识别技术在讲座视频中添加了英文字幕，并评估了理解字幕的难易程度，从而证实了该技术的有效性。 [表征说话风格的特征] 为了调查表征说话风格的特征，我们准备了使用大规模日语语音语料库的听力实验（问卷）。我们开发了一个收集数据集的系统，其中 100 名受试者聆听了大约 100 个话语（大约 1 分钟），并评估了他们对大约 30 个项目的印象，例如聆听的难易度和理解的难易度。 [教室中的视频和声音传感] 我们开发了一种技术，可以利用从安装在教室中的摄像头和麦克风获得的信息来分析学生在面对面课堂上的行为。 [成果概要] 所开发的各项基础技术均在国内学术会议上进行了展示。我们还编写并提交了期刊文章和国际会议论文。

项目成果

期刊论文数量（20）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Audio Synthesis-based Data Augmentation Considering Audio Event Class

考虑音频事件类的基于音频合成的数据增强

DOI：
10.1109/gcce53005.2021.9621828
发表时间：
2021
期刊：
影响因子：
0
作者：
Sugiura Toki;Kobayashi Akio;Utsuro Takehito;Nishizaki Hiromitsu
通讯作者：
Nishizaki Hiromitsu

ドメイン外音響情報で補強したEncoder-Decoder音声認識モデルの設計

增强域外声学信息的编码器-解码器语音识别模型的设计

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
森大輝; 太田健吾; 西村良太; 北岡教英
通讯作者：
北岡教英

Automatic Selection of Appropriate Data Augmentation Operation for Acoustic Scene Classification Model Training

自动选择适当的数据增强操作用于声学场景分类模型训练

DOI：
10.1109/gcce56475.2022.10014333
发表时间：
2022-10-18
期刊：
2022 IEEE 11th Global Conference on Consumer Electronics (GCCE)
影响因子：
0
作者：
Toki Sugiura;A. Kobayashi;T. Utsuro;H. Nishizaki
通讯作者：
H. Nishizaki

Voice Activity Detection for Live Speech of Baseball Game Based on Tandem Connection with Speech/Noise Separation Model

基于语音/噪声分离模型串联的棒球比赛现场语音语音活动检测

DOI：
10.21437/interspeech.2021-792
发表时间：
2021
期刊：
影响因子：
0
作者：
Nonaka Yuto;Leow Chee Siang;Kobayashi Akio;Utsuro Takehito;Nishizaki Hiromitsu
通讯作者：
Nishizaki Hiromitsu

Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model

用于学习基于潜在空间能量的模型的自适应多级密度比估计