Development of Dialogue Management Mechanism for Embodied Conversational Agent in Engaging with Multiple Users

多用户参与的具体会话代理的对话管理机制的开发

• 批准号: 23700183
• 负责人: HUANG HUNG-HSUAN
• 金额: $ 2.83万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2011
• 资助国家: 日本
• 起止时间: 2011 至 2013
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-23700183/
• 关键词: ユーザ・インターフェース; 人工知能; 音声対話システム; ユーザインターフェース

There are more and more real-world deployed applications of embodied conversational agents (ECA's). These agent systems are usually used by groups of visitors rather than individuals. This situation is more complex than single user one, specific features are required. This project aims to build an information providing agent for collaborative decision making tasks. A Wizard-of-Oz (WOZ) experiment was conducted for collecting human/agent interaction data. By analyzing it, the model for identifying the addressee of user utterances have been developed with machine learning techniques on visual (face direction and movements) and acoustic (intensity, pitch, and speed) data of the corpus. We then incorporated it into a fully autonomous multiparty ECA. The system identifies the addressee and uses this information in language understanding and dialogue management. Finally, an evaluation experiment shows that the proposed addressee identification mechanism works well in a real-time system.

现实世界中越来越多的实体会话代理 (ECA) 已部署应用程序。这些代理系统通常由访问者团体而不是个人使用。这种情况比单用户情况更复杂，需要特定的功能。该项目旨在构建一个用于协作决策任务的信息提供代理。进行绿野仙踪 (WOZ) 实验来收集人/代理交互数据。通过分析，利用机器学习技术对语料库的视觉（面部方向和动作）和听觉（强度、音调和速度）数据开发了用于识别用户话语收件人的模型。然后我们将其纳入完全自治的多方 ECA。系统识别收件人并将此信息用于语言理解和对话管理。最后，评估实验表明，所提出的收件人识别机制在实时系统中运行良好。

项目成果

Finding the Timings for a Guide Agent to Intervene User-user Conversation to Provide Information Actively

寻找引导代理干预用户-用户对话以主动提供信息的时机

• 发表时间: 2013
• 作者: Shochi Otogi;Hung-Hsuan Huang;Ryo Hotta;and Kyoji Kawagoe
• 通讯作者: and Kyoji Kawagoe

Implementation and Evaluation of Multimodal Addressee Identification Mechanism for Multiparty Conversation Systems

多方通话系统多模态收件人识别机制的实现与评估

• 发表时间: 2013
• 作者: Yukiko I. Nakano;Naoya Baba;Hung-Hsuan Huang;and Yuki Hayashi
• 通讯作者: and Yuki Hayashi

複数人ユーザに対応可能な情報提供会話エージェント

可以处理多个用户的提供信息的对话代理

• 发表时间: 2013
• 作者: Otogi;S.;Huang;H.H.;Hotta;R.;and Kawagoe;K;堀田 怜,乙木 翔地,黄 宏軒,川越 恭二;乙木 翔地,堀田 怜,黄 宏軒,川越 恭二;馬場直哉,黄 宏軒,林 佑樹,中野有紀子
• 通讯作者: 馬場直哉,黄 宏軒,林 佑樹,中野有紀子

複数人ユーザ会話におけるエージェントの割り込みタイミングの推定手法の検討

多用户通话中座席中断时间估计方法研究

• 发表时间: 2012
• 作者: Otogi;S.;Huang;H.H.;Hotta;R.;and Kawagoe;K;堀田 怜,乙木 翔地,黄 宏軒,川越 恭二;乙木 翔地,堀田 怜,黄 宏軒,川越 恭二;馬場直哉,黄 宏軒,林 佑樹,中野有紀子;乙木 翔地,堀田 怜,黄 宏軒,川越 恭二
• 通讯作者: 乙木 翔地,堀田 怜,黄 宏軒,川越 恭二

グループ会話対応型会話エージェントにおける受話者推定システム

用于与群组对话兼容的对话代理的听众估计系统

• 发表时间: 2011
• 作者: Baba;N.;Huang;H.H.;Nakano;Y;馬場直哉,黄 宏軒,中野有紀子
• 通讯作者: 馬場直哉,黄 宏軒,中野有紀子