音声認識結果の要約と整形に基づく理解しやすい字幕の自動生成に関する研究

基于语音识别结果汇总格式化的易懂字幕自动生成研究

• 批准号: 22K12122
• 负责人: 村田 匡輝
• 金额: $ 2.25万
• 依托单位: National Institute of Technology, Toyota College
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12122/
• 关键词: 字幕生成; 改行挿入; 読点挿入; 整形; 要約; 音声認識

本研究では，講演や講義での音声に関する情報保障を目標に，音声認識結果に対して変換処理を施すことで，字幕として相応しいテキストを生成し提示するシステムの開発を目的とする．今年度は，以下の3項目を実施した．1. 講演テキストへ読点および改行を同時的に挿入する手法の開発を推進した．意味的な切れ目を考慮せず，固定の文字数で改行が挿入されたテキストは読みにくいものとなる．また，改行の挿入位置と読点の挿入位置は相互に関連があると考えられるため，適切な位置に読点と改行を同時に挿入可能な本手法は読みやすい字幕テキストを生成するための重要な要素技術である．本手法では，人手で読点と改行を付与したテキストデータを学習データとして使用し，マルチタスク学習により改行，読点の挿入を同時に行う．評価実験の結果，本手法の有効性を確認した．2. 1. の挿入手法を用いて音声認識結果へ読点と改行を挿入し提示するシステムの試作に取り組んだ．APIを用いて音声認識を実行し，その結果に対して読点と改行を挿入して表示するウェブアプリを構築した．3. 講義音声の認識結果を対象とした要約データの作成を推進した．音声の認識結果をそのまま字幕として表示すると，読み切れない量の字幕が提示される可能性がある．そこで不要な文字列の削除やより短い表現への修正を行ったデータを作成した．具体的には，フィラーや繰り返し表現の削除，過剰な丁寧表現の修正，話し言葉的な理解しにくい構文となっている表現の修正を中心に実施した．また，作成したデータの一部を用いた要約手法の開発に着手した．

在本研究中，我们的目标是开发一种通过对语音识别结果进行转换处理来生成并呈现适合字幕的文本的系统，以保证讲座和讲座中的语音信息。今年，我们重点落实了以下三项工作。 1. 我们推动开发一种在讲座文本中同时插入逗号和换行符的方法。在不考虑语义中断的情况下以固定数量的字符插入换行符的文本会变得难以阅读。另外，由于换行符的插入位置和逗号的插入位置被认为是相互关联的，因此这种可以在适当的位置同时插入逗号和换行符的方法是生成易读文件的重要基础技术。阅读字幕文本。该方法以手动添加逗号和换行符的文本数据作为训练数据，通过多任务学习同时插入换行符和逗号。评估实验的结果证实了该方法的有效性。 2. 使用1.中描述的插入方法，我们开发了一个原型系统，该系统将逗号和换行符插入到语音识别结果中并呈现它们。我们构建了一个 Web 应用程序，该应用程序使用 API 执行语音识别、插入逗号和换行符并显示结果。 3、推动讲座演讲识别结果汇总数据创建。如果将语音识别结果直接显示为字幕，则有可能出现无法读取的字幕量。因此，我们通过删除不必要的字符串并将其修改为更短的表达式来创建数据。具体来说，我们重点删除填充和重复的表达方式，纠正过于礼貌的表达方式，纠正口语化和语法难懂的表达方式。我们还开始使用我们创建的一些数据开发一种汇总方法。

项目成果

方 之成, 村田 匡輝, 松原 茂樹

方成、村田正树、松原茂树

• 发表时间: 2023
• 作者: 方 之成;村田 匡輝;松原 茂樹
• 通讯作者: 松原 茂樹

マルチタスク学習による講演テキストへの読点と改行の自動挿入

使用多任务学习自动将逗号和换行符插入讲座文本中

• 发表时间: 2022
• 作者: 方 之成;村田 匡輝;松原 茂樹
• 通讯作者: 松原 茂樹