Automatic Multilingual Subtitling of Lecture Videos Towards University Globalization

讲座视频自动多语言字幕迈向大学全球化

基本信息

批准号：
20K03120
负责人：
美馬秀樹
金额：
$ 2.75万
依托单位：
Kyushu University (2022)Kyoto University (2021)The University of Tokyo (2020)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

“いつでも，どこでも，だれにでも”同等の教育の機会を提供することは非常に重要である．国連サミットにて採択されたSDGsにおいても，「質の高い教育をみんなに」は，今後の持続可能な社会における重要な政策目標の一つとなっている．また，海外からの留学性や教員も利用することを考慮すると，字幕に対して翻訳を行うことも必要な要素である．現に，私が以前，担当していたUTokyo OCWサイトに併設されているSNSには，国内外より，聴覚障害者からの字幕付与，言語習得も含めた学習教材化，等への要望も多く寄せられていた．しかしながら，講義映像が短時間で少量であれば人手で行うことも可能であるが，一般に高コストであり，本研究開発において期待されるような多数の講義映像に対して行うことは難しい．そこで映像音声に対して自動的に音声認識を行い，その結果を字幕として表示，あるいはその結果に対して人手により修正を行うことで字幕とする等の手法の研究開発が行われている．しかしながら，音声認識システムの認識精度は年々向上してはいるものの，そのまま字幕として使用するには未だ十分な精度とは言い難い．特に，本研究で対象とする高等教育での講義映像の音声には専門用語が多く含まれており，認識できない用語があるのに加え，字幕として利用するためには同音異義語も正しく漢字へと変換することが必要となる。この解決には、講義で話されているテキストを大量に収集し、分析を行い、言語モデルを再構成することが望ましい。そこで、昨年度は、サイバー大学より講義ビデオの提供をいただく契約を行い、約100時間分の講義ビデオを収集することに成功した。また、情報通信研究機構（NICT）との共同により、収集した講義ビデオからの音声テキストデータの抽出を進めており、適宜、音声翻訳の精度向上のためのデータとして利用する準備が整ったと言える。

在任何人，任何人，任何人的任何时候都提供平等的教育机会非常重要。即使在联合国峰会上通过的可持续发展目标，“每个人的高质量教育”也已成为未来可持续社会的重要政策目标之一。此外，考虑到从海外出国留学的能力以及使用海外教师的使用，字幕的翻译也是必要的因素。实际上，我曾经负责Utokyo OCW网站附加到Utokyo OCW网站上的社交网站收到了国内和国际上的许多请求，以授予听力受损的人的字幕，并将其用作学习材料，包括语言获取。但是，尽管可以手动进行讲座镜头，如果讲座的数量短而小，但通常很昂贵且难以执行大量的演讲录像，这在本研究和开发中可以预期。因此，正在以自动识别视频和音频等方法，将结果显示为字幕或手动修改结果以成为字幕等方法进行研究和开发。但是，尽管语音识别系统的识别精度逐年提高，但仍然很难说它足够准确，可以用作字幕。特别是，高等教育中的演讲视频音频（这是本研究的主题）包含许多技术术语，除了无法识别某些术语的事实外，还必须正确地将同音词转换为汉字，以用作字幕。为了解决这个问题，希望收集在讲座中使用的大量文本，进行分析并重建语言模型。因此，去年，我们签署了网络大学的合同，以提供讲座视频，并设法收集了大约100个小时的演讲视频。此外，与日本信息与通信技术学院（NICT）合作，我们现在正在从收集的教学视频中提取音频文本数据，可以说我们准备将其用作数据以在适当时提高语音翻译的准确性。