Studies on Multimodal Dialogue Control using Multimedia Corpus and Probability Model

基于多媒体语料库和概率模型的多模态对话控制研究

• 批准号: 18500115
• 负责人: ENDO Tsutomu
• 金额: $ 1.75万
• 依托单位: Kyushu Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2006
• 资助国家: 日本
• 起止时间: 2006 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18500115/
• 关键词: 自然言語処理; マルチモーダル対話; 人工知能; ジェスチャ認識; 確率モデル; 機械学習; 音声認識; コーパス; コーパス分析; コーパス作成支援; 文脈情報処理; 概念ネットワーク; 音声理解; 発話意図認識; 知識獲得; 感情分類; 発話意図推定; 対話型インタフェース; 表データ; マルチメディアコーパス

音声発話とジェスチャを併用して対話のできるシステムを目指して, 人間の行う対話データやジェスチャデータを収集し, 人手による解析(タグ付け)を行った。これらのデータ(コーパス)を利用して, 音声認識ソフトウェアの認識精度の向上, 対話における発話意図の推定, ハンドジェスチャの認識等を行うプログラムを開発し, 画面上で写真を操作するインタフェースや対話型病名診断システムに適用して, その有効性を確認した。

为了创建一个允许使用语音和手势对话的系统，我们收集了人类手动执行和分析（标记）的对话数据和手势数据。使用这些数据（语料库），我们开发了一个程序，以提高语音识别软件的识别准确性，估计对话中的语音意图，识别手势等，并将其应用于在屏幕上操作照片的接口和交互式疾病名称诊断系统以确认其有效性。

项目成果

対話システムにおけるユーザの発話意図推定

对话系统中用户言语意图的估计

• 发表时间: 2007
• 期刊: 火の国シンポジウム2007 (CD-ROM)
• 作者: 岩下薫;嶋田和孝;遠藤勉
• 通讯作者: 遠藤勉

USBカメラを用いた指先インタフェース

使用USB摄像头的指尖接口

• 发表时间: 2006
• 期刊: 第14回電子情報通信学会九州支部学生会講演論文集
• 作者: 本田和久;嶋田和孝;遠藤勉
• 通讯作者: 遠藤勉

マルチモーダル対話のための当部ジェスチャ認識

多模式交互的部分手势识别

• 发表时间: 2007
• 期刊: 火の国シンポジウム2007 (CD-ROM)
• 作者: 田中太喜;嶋田和孝;遠藤勉
• 通讯作者: 遠藤勉

Table Recognition Using Attribute Likelihood Computed from Words

使用根据单词计算的属性似然进行表识别

• 发表时间: 2006
• 期刊: Fourth Workshop on Learning with Logics and Logics for Learning (LLLL2006)
• 作者: T.Kitayama;K.Shimada;T.Endo
• 通讯作者: T.Endo

USBカメラとマーカを用いたハンドジェスチヤ認識

使用 USB 摄像头和标记进行手势识别

• 发表时间: 2008
• 作者: 武藤亮介;嶋田和孝;遠藤勉
• 通讯作者: 遠藤勉