未習熟ユーザを補助するマルチモーダル対話システムの研究

辅助无经验用户的多模态对话系统研究

基本信息

批准号：
14J03989
负责人：
千葉祐弥
金额：
$ 1.22万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2014
资助国家：
日本
起止时间：
2014-04-25 至 2016-03-31
项目状态：
已结题

项目摘要

平成27年度より，ユーザを補助する対話システムに有用なユーザの状態として，システムが提示した話題に関するユーザの対話意欲を定義し，人間同士のインタビュー対話を用いて識別に有効なマルチモーダル特徴量の分析を行っている．以前の検討では，音声データの収録に関して問題があったため，7名の人間同士のインタビュー対話データを新たに収集し，マルチモーダル特徴量を抽出した．分析では，昨年度同様，言語情報として回答者の発話の書き起こしから得られた品詞情報，音声情報として基本周波数 (F0)およびパワー，画像情報として表情と身振りの変動を採用した．結果から，新しいデータセットにおいてもユーザの表情と身振りの変動量，対話中のユーザ発話のF0の変動幅や最大値，最小値などが対話意欲の識別に有効であることが明らかになり，これらの特徴量を用いて対話意欲の自動推定を実施した．結果として，音声画像特徴量を用いた場合に Leave-one-out 条件で 80.4% ，Subjective-open条件で 77.1% の識別精度を達成した．これは事前に調査をおこなった人間による判断と同程度かそれ以上の識別精度である．これらの成果は1件の査読付き国際会議，2件の国内学会での発表を行っている．また，ここまでの検討では人間同士のインタビュー対話を利用していることから，機械と人間との対話においても同様に対話意欲が表出されるかどうかは不明瞭であるため，特徴量及び識別手法の有効性を確かめる目的で，Wizard of Oz (WOZ)法による対話データの収録を行った．5 名の実験参加者の対話によって集計されたアンケートの分析から, 1)興味と対話意欲の評定は必ずしも等しくないこと, 2)機械との対話では人間同士の対話よりも対話意欲が表出されにくいことが示唆されたが，実際の識別実験までは行えず，課題として残された．こちらの検討に関しては1件の国内学会での発表を行った．

自2015财年以来，我们将用户对系统呈现的主题进行对话的愿望定义为帮助用户的对话系统的有用用户状态，并且我们开发了可有效使用人类访谈对话进行识别的多模态功能。。在之前的研究中，记录语音数据存在问题，因此我们新收集了七个人之间的采访对话数据并提取了多模态特征。在分析中，与去年一样，我们使用从受访者的话语记录中获得的词性信息作为语言信息，使用基频（F0）和功率作为音频信息，使用面部表情和手势的变化作为图像信息。结果表明，即使在新的数据集中，用户面部表情和手势的变化量、对话期间用户话语的变化范围、最大值和最小值也能有效识别对话动机。互动意愿的估计是利用的特征进行的。结果，当使用音频图像特征时，我们在留一条件下实现了 80.4% 的分类准确率，在主题开放条件下实现了 77.1% 的分类准确率。这是与人类预先进行研究的判断处于相同水平或更好的识别准确度。这些结果已在一次同行评审的国际会议和两次国内会议上公布。此外，由于迄今为止的研究使用的是人类之间的访谈对话，因此尚不清楚机器与人类之间的对话是否也表达了类似的对话愿望。为了确认该方法的有效性，我们使用Wizard记录了对话数据。盎司 (WOZ) 方法。通过对五位实验参与者的对话编制的问卷进行分析，我们发现：1）互动的兴趣和意愿的评分不一定相等，2）与机器的互动比人与人之间的互动更能表达互动的愿望。尽管有人认为这种方法很困难，但不可能进行实际的歧视实验，这仍然是一个问题。关于这项研究，我们在国内的一个学术会议上做了报告。