選択問題を活用した対話システム研究開発プロセスの刷新

利用选择题革新对话系统研发流程

• 批准号: 22KJ0198
• 负责人: 佐藤 志貴
• 金额: $ 1.41万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0198/
• 关键词: 自然言語処理; 計算言語学; 対話システム; 自動評価

本研究では，対話応答選択タスク(文脈に続く適切な発話を選択肢から選ぶ選択問題を解かせ対話システムを評価するタスク)の選択肢に含まれる各誤り候補に対し誤り種類ラベルを付与することで，選択誤りの傾向から対話システムを誤り種類ごとに自動分析できる枠組みを構築する.ここで，文脈は現在行っている対話内のやりとりである短期的文脈と，過去行われた別の対話のやりとりである長期的文脈の二つが存在する.本年度から，長期的文脈を有する対話の選択問題の構築と，誤り候補に対する誤り種類ラベル付与に取り組み始めた．まず，長期的文脈を有する対話の収集に取り掛かった．長期的文脈を持つ対話データは分野では少数しか収集されていない．そこで，ターン数の多い対話から擬似的に長期的文脈と短期的文脈の対を作成する方法を提案し，提案方法により高品質な長期的文脈付き対話を収集した．次に，選択問題の選択肢の収集に取り掛かった．1年目の取り組みで，誤り種類のうち矛盾（文脈と相反する内容の発話を生成してしまう誤り）については，事前に収集した誤り候補に対するラベリングにより用意した選択肢を用いたとしても，対話応答選択の枠組みでシステムの応答生成傾向が適切に評価できないことがわかっている．そこで，矛盾に関しては1年目での短期的文脈のみ有する対話に対する取り組みと同様に，対話システムにより実際に生成される矛盾応答を収集することとした．具体的には，1年目で確立した，(i) 対話システムが矛盾を生成しやすい文脈の特定方法， (ii) 矛盾の効率的な収集方法を組み合わせて長期的文脈部分に矛盾するシステム発話を収集する．現時点で，収集のためのフレームワークの構築と，小規模な予備収集実験が完了している．

在本研究中，通过为对话响应选择任务（通过让用户解决多项选择问题来评估对话系统的任务，其中根据上下文选择适当的话语）的选项中包含的每个错误候选者分配错误类型标签从选项中选择），一个可以根据选择错误的趋势自动分析对话系统每种类型错误的框架这里有两种类型的上下文：短期上下文，即当前对话中的交流，以及长期上下文，即过去发生的另一次对话中的交流。术语上下文 我们已经开始致力于构建一个对话选择问题，并为错误候选者分配错误类型标签。首先，我们开始收集长期背景下的对话。该领域仅收集了少量具有长期背景的交互数据。因此，我们提出了一种从多轮对话中创建长期上下文和短期上下文的伪对的方法，并使用该方法收集了具有长期上下文的高质量对话。接下来，我开始收集多项选择题的选项。在我们努力的第一年，我们发现对于矛盾（产生与上下文相矛盾的话语的错误），即使我们使用预先收集的标记错误候选者准备的选项，也很难对对话做出反应。众所周知，使用选择框架无法充分评估系统的响应生成趋势。因此，对于矛盾，我们决定收集对话系统实际产生的矛盾反应，类似于第一年仅针对短期语境的对话所做的努力。具体来说，我们在第一年建立了（i）一种识别对话系统可能产生矛盾的上下文的方法，以及（ii）一种有效的收集矛盾的方法，将这些方法结合起来识别与对话系统不一致的系统话语。收集长期上下文部分。目前，采集框架搭建和小规模初步采集实验已经完成。

项目成果

Evaluating Dialogue Response Generation Systems via Response Selection with Well-chosen False Candidates

• DOI: 10.5715/jnlp.29.53
• 发表时间: 2022
• 期刊: Journal of Natural Language Processing
• 作者: Shiki Sato;Reina Akama;Hiroki Ouchi;Jun Suzuki;Kentaro Inui

N-best Response-based Analysis of Contradiction-awareness in Neural Response Generation Models

神经响应生成模型中基于 N 最佳响应的矛盾意识分析

• 发表时间: 2022
• 期刊: Proceedings of the 23rd Annual Meeting of the Special Interest Group on Discourse and Dialogue
• 作者: Shiki Sato;Reina Akama;Hiroki Ouchi;Ryoko Tokuhisa;Jun Suzuki and Kentaro Inui
• 通讯作者: Jun Suzuki and Kentaro Inui

Bipartite-play Dialogue Collection for Practical Automatic Evaluation of Dialogue Systems

• DOI: 10.48550/arxiv.2211.10596
• 发表时间: 2022-11
• 作者: Shiki Sato;Yosuke Kishinami;Hiroaki Sugiyama;Reina Akama;Ryoko Tokuhisa;Jun Suzuki

程度を考慮したフォーマリティ変換のためのデータセットの収集と分析

用于学位感知形式转换的数据集收集和分析

• 发表时间: 2023
• 作者: 守屋彰二;岸波洋介;佐藤志貴;徳久良子;乾健太郎
• 通讯作者: 乾健太郎

Target-Guided Open-Domain Conversation Planning

• DOI: 10.48550/arxiv.2209.09746
• 发表时间: 2022-09
• 作者: Yosuke Kishinami;Reina Akama;Shiki Sato;Ryoko Tokuhisa;Jun Suzuki;Kentaro Inui