Automatic Multilingual Subtitling of Lecture Videos Towards University Globalization

讲座视频自动多语言字幕迈向大学全球化

基本信息

批准号：
20K03120
负责人：
美馬秀樹
金额：
$ 2.75万
依托单位：
Kyushu University (2022)Kyoto University (2021)The University of Tokyo (2020)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

“いつでも，どこでも，だれにでも”同等の教育の機会を提供することは非常に重要である．国連サミットにて採択されたSDGsにおいても，「質の高い教育をみんなに」は，今後の持続可能な社会における重要な政策目標の一つとなっている．また，海外からの留学性や教員も利用することを考慮すると，字幕に対して翻訳を行うことも必要な要素である．現に，私が以前，担当していたUTokyo OCWサイトに併設されているSNSには，国内外より，聴覚障害者からの字幕付与，言語習得も含めた学習教材化，等への要望も多く寄せられていた．しかしながら，講義映像が短時間で少量であれば人手で行うことも可能であるが，一般に高コストであり，本研究開発において期待されるような多数の講義映像に対して行うことは難しい．そこで映像音声に対して自動的に音声認識を行い，その結果を字幕として表示，あるいはその結果に対して人手により修正を行うことで字幕とする等の手法の研究開発が行われている．しかしながら，音声認識システムの認識精度は年々向上してはいるものの，そのまま字幕として使用するには未だ十分な精度とは言い難い．特に，本研究で対象とする高等教育での講義映像の音声には専門用語が多く含まれており，認識できない用語があるのに加え，字幕として利用するためには同音異義語も正しく漢字へと変換することが必要となる。この解決には、講義で話されているテキストを大量に収集し、分析を行い、言語モデルを再構成することが望ましい。そこで、昨年度は、サイバー大学より講義ビデオの提供をいただく契約を行い、約100時間分の講義ビデオを収集することに成功した。また、情報通信研究機構（NICT）との共同により、収集した講義ビデオからの音声テキストデータの抽出を進めており、適宜、音声翻訳の精度向上のためのデータとして利用する準備が整ったと言える。

“随时随地”为任何人提供平等的教育机会极其重要。在联合国峰会通过的可持续发展目标中，“人人享有优质教育”是未来社会可持续发展的重要政策目标之一。另外，考虑到学生在国外留学，老师也使用该系统，所以有必要翻译字幕。事实上，在我之前负责的东京大学OCW网站附属的SNS上，我们收到了许多来自日本和国外的人们的请求，例如添加字幕以及将网站变成学习材料，包括语言学习，从听证会-它正在被完成。然而，如果讲座视频较短且较小，则可以手动完成，但对于本次研发中预期的大量讲座视频来说，通常成本较高且难以完成。因此，正在研究和开发对视频和音频自动进行语音识别、将结果显示为字幕、或手动修改结果以创建字幕的方法。然而，尽管语音识别系统的识别准确率逐年提高，但仍远远达不到用作字幕的准确度。特别是本研究对象的高等教育讲座视频的音频中包含许多技术术语，除了一些术语无法识别外，同音字还必须正确翻译成汉字才能用作字幕。有必要进行转换。为了解决这个问题，需要收集大量讲座中所说的文本，对其进行分析，并重建语言模型。因此，去年我们与网络大学签订了提供讲座视频的合同，并成功收集了约100小时的讲座视频。此外，我们正在与国立信息通信技术研究所（NICT）合作，从收集的讲座视频中提取音频文本数据，现在我们准备酌情使用这些数据，以提高讲座的准确性。语音翻译。