ユーザが対話したくなる対話ロボット・対話しやすい遠隔会議アバターの動作デザイン

用户想要交互的对话机器人和易于交互的电话会议虚拟人物的动作设计。

基本信息

批准号：
21K12075
负责人：
大和淳司
金额：
$ 2.58万
依托单位：
Kogakuin University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

・前年度に引き続いて、対話意欲推定を中心に計測系、認識系の構築と評価実験を進めた。対話生成系については、共同研究先より提供の複数台ロボットの対話システムが開発後数年を経過し、性能的に必ずしも十分とはいえないことから、置換えの検討を進めた。しかしながら、最近の大規模言語モデルベースの高性能な対話システムをデプロイするにはリソース不足が否めず、生成系のアップデートについては断念し、認識側に集中する方針を取ることとした。対話時の、ユーザのマルチモーダルな情報から対話意欲や賛否、理解度などのユーザ反応を認識することにテーマを絞り込み、このための計測系の構築と評価を行った。・openposeを用いた姿勢計測、アイカメラによる視線計測、音声データからの発話区間、音韻特徴を用いて、発話意欲の外部からの非接触非侵襲推定を行う実験を実施し、一定精度での計測の目処を得た。・外部カメラとアイカメラの画像および音声データはOBS Studioにより同期収録を行い、アイカメラ(Pupil Core)による視線データと関節位置角度データと同期を取った分析を可能とするシステム構成とした。実験により、非接触マーカーレスで上半身の姿勢データの取得、頭部運動データの取得、視線情報の取得を、ほぼフレーム単位の同期を取った上で収録できることを確認した。また、発話タイミングと外部観察での発話意欲と、姿勢データの相関から、姿勢情報のうちで対話意欲との関連がみられるものについての調査検討を進めた。・これらの結果について、電子情報通信学会総合大会2023にて発表を実施した。

・继去年之后，我们继续进行测量和识别系统的构建和评估实验，重点评估互动意愿。至于对话生成系统，联合研究伙伴提供的多机器人对话系统已经开发了好几年，性能不一定足够，所以我们正在考虑替换它。然而，不可否认的是，由于缺乏资源来部署最新的基于大规模语言模型的高性能对话系统，我们决定放弃更新生成系统，转而专注于识别方面。我们将主题缩小到从对话过程中用户的多模态信息中识别用户的反应，例如对话的愿望、利弊和理解程度，并为此构建和评估了一个测量系统。・进行了一项实验，通过使用 openpose 的姿势测量、使用眼睛相机的视线测量、音频数据的发声间隔和语音特征，从外部进行非接触、非侵入性的说话动机估计，并使用一定的测量值进行测量。我得到了一个前景。・使用OBS Studio同步记录来自外部摄像头和眼部摄像头的图像和音频数据，系统配置可以与来自眼部摄像头（Pupil Core）的视线数据以及关节位置和角度数据进行同步分析。通过实验，我们证实可以以非接触、无标记的方式记录上半身姿势数据、头部运动数据和视线信息，几乎逐帧同步。此外，根据说话时机、说话动机的外部观察和姿势数据之间的相关性，我们对与对话动机相关的姿势信息进行了调查。・这些结果已在 IEICE 2023 年大会上公布。