Automatic evaluation of group discussion based on multi-modal interpretation

基于多模态解释的小组讨论自动评价

基本信息

批准号：
20K12110
负责人：
嶋田和孝
金额：
$ 2.75万
依托单位：
Kyushu Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K12110/
关键词：
マルチモーダル自然言語処理グループディスカッション

项目摘要

複数人による議論は，PBLのような学習の場のみならず，入試などのグループディスカッションでも活用され，教育の中で重要な役割を担っている．一方で，そのような議論を試験として公平にかつ効率的に評価することは難しい．本研究では，議論の流れを言語的な発話内容だけではなく，音声（韻律情報など）や画像（表情やしぐさなど）を踏まえ，マルチモーダルに利用して把握する手法の確立を目指す．令和4年は以下のような研究を行った．（a）ディベートのマルチモーダル評価：2人1組による2対2のディベート（Kyutechディベートコーパス）を対象に，書き起こしテキスト・音声情報・画像情報を統合的に扱うマルチモーダルな深層学習モデルを適用し，その有効性を検証した．本研究は国際会議（PACLIC36, 2022）で発表された．（b）言語現象の分析：対話などで生じる言語現象の一つとして，攻撃的な発言の検出のための基礎的なモデルを構築し，その有効性を検証した．本研究は国際会議IIAI2022で発表された．また，対話でのトピック推定や談話行為推定のモデルについても研究をし，学会発表を行った．（c）音声データの分析：人間の対話では，フィラーや言い淀みなどの内容には関係ない表現も多く含まれる．音声データを音声認識器で書き起こすとこの冗長な情報がそのまま結果として残ってしまい，分析などの際にノイズとなる．この問題を解決するために音声認識結果に含まれる言い淀みなどを検出する手法について提案した．関連する研究が電子情報通信学会九州支部学生会講演会や電子情報通信学会NLC研究会で発表された．九州支部学生会講演会では奨励賞を受賞した．

多人讨论不仅用于PBL等学习场合，还用于入学考试等小组讨论，在教育中发挥着重要作用。另一方面，作为一种测试，很难公平有效地评估这些论点。在这项研究中，我们的目标是建立一种使用多模态方法来理解讨论流程的方法，不仅考虑话语的语言内容，还考虑音频（韵律信息等）和图像（面部表情、手势、 ETC。）。 2020年，我们开展了以下研究。 (a) 辩论的多模态评估：将综合处理转录文本、音频信息和图像信息的多模态深度学习模型应用于两人之间的 2 对 2 辩论（Kyutech 辩论语料库），我们验证了其有效性。这项研究已在国际会议（PACLIC36，2022）上发表。（b）语言现象分析：我们构建了一个用于检测冒犯性言论（对话中出现的语言现象之一）的基本模型，并验证了其有效性。这项研究已在国际会议 IIAI2022 上发表。我们还对对话中的话题和话语行为估计模型进行了研究，并在学术会议上做了演讲。 (c)语音数据分析：人类对话中包含许多与内容无关的表达方式，例如填充词和犹豫词。当使用语音识别器转录音频数据时，这些冗余信息会保留在结果中，并在分析过程中变成噪声。为了解决这个问题，我们提出了一种检测语音识别结果中犹豫的方法。相关研究成果在IEICE九州分会学生会议和IEICE NLC研究小组上发表。荣获九州分部学生会演讲鼓励奖。