Construction of Prototype Multi-modal Interface by Lifelike Agent

Lifelike Agent构建原型多模态界面

基本信息

  • 批准号:
    09555119
  • 负责人:
  • 金额:
    $ 5.82万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
  • 财政年份:
    1997
  • 资助国家:
    日本
  • 起止时间:
    1997 至 1999
  • 项目状态:
    已结题

项目摘要

Prototype communication system between multiple clients in face-to-face style is constructed. Lifelike agent appears in cyberspace driven by other client interactively. This system is composed of one server and multiple clients, and each client has a camera and microphone. Voice captured from microphone is transmitted to server frame by frame. And then voice signal is analyzed and converted to mouth shape parameters by neural network. This mouth shape parameter is transmitted to each client through network and, expression and lip movement of lifelike agent copying other side client are controlled by this parameter. Voice signal is also transmitted to each client and played back by speaker at each client system synchronizing with synthesized face image. Basic expression can be selected by pushing function key to change the face image of lifelike agent displayed at other clients. Two mode is prepared in this system ; walk through mode and fly through mode. In the walk through mode, each user can communicate by eye contact with others and change the location and direction of agent eye. In the fly mode, user can be an observer in communication.By using this prototype communication system, the experiment in which three users communicate each other is performed. Synthesis rate is 10 frames per second. And natural communication environment can be achieved.
构建了以面对面样式的多个客户之间的原型通信系统。栩栩如生的代理出现在由其他客户互动驱动的网络空间中。该系统由一台服务器和多个客户端组成,每个客户端都有一个相机和麦克风。从麦克风捕获的语音通过帧传输到服务器。然后通过神经网络分析语音信号并将其转换为口形参数。此口形状参数通过网络传输到每个客户端,而栩栩如生的代理复制另一侧客户端的表达和唇部受到此参数的控制。语音信号也会传输给每个客户端,并由扬声器在每个客户系统系统中与合成的面部图像同步。可以通过按下功能键来选择基本表达式以更改其他客户端显示的栩栩如生的代理的面部图像。在此系统中准备了两种模式;穿过模式并飞行模式。在贯穿模式下,每个用户都可以通过眼神交流与他人进行交流,并更改Agent Eye的位置和方向。在飞行模式下,用户可以是通信中的观察者。通过使用此原型通信系统,执行三个用户交流的实验。合成速率为每秒10帧。可以实现自然的沟通环境。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Shigeo Morishima, T.Ishikawa: "Facial Muscle Parameter Decision from 2D Froutal Image" IEEE Proc.of ICPR. 14巻. 160-162 (1998)
Shigeo Morishima,T. Ishikawa:“二维 Froutal 图像的面部肌肉参数决策”ICPR 的 IEEE Proc。14. 160-162 (1998)
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
森島繁生: "A Physics-based Talking Head for Interface Agent" Proceedings of IJCAI Workshop on Animated Agent. 91-97 (1997)
Shigeo Morishima:“基于物理的界面智能体说话头”IJCAI 动画智能体研讨会论文集 91-97 (1997)。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
Shigeo Morishima: "Real-time Voice Driver Facial Animation System"Proceedings of IEEE ICSMC. FP13-5 (1999)
Shigeo Morishima:“实时语音驱动面部动画系统”IEEE ICSMC 论文集。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
Shigeo Morishima: "Real-time Talking Head Driven by Voice and its Application to Communication and Entertainment" Proc.of International Conf.on Auditory Visual Speach Processing. 2巻. 195-200 (1998)
Shigeo Morishima:“语音驱动的实时头部语音及其在通信和娱乐中的应用”Proc.of International Conf.on Auditory Visual Speech Processing 2 卷(1998 年)。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
四倉達夫、藤井英史、森島繁生: "サイバースペース上の仮想人物による実時間対話システムの構築" 情報処理学会論文誌. 40巻2号. 677-686 (1999)
Tatsuo Shikura、Hidefumi Fujii、Shigeo Morishima:“在网络空间中使用虚拟角色构建实时对话系统”,《日本信息处理学会会刊》第 40 卷,第 2 期。677-686(1999 年)。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

MORISHIMA Shigeo其他文献

MORISHIMA Shigeo的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('MORISHIMA Shigeo', 18)}}的其他基金

Face Analysis and Synthesis Model Expressing Individual Characteristics and Aging Features with High Reality
高真实度表达个体特征和衰老特征的人脸分析与合成模型
  • 批准号:
    22300070
  • 财政年份:
    2010
  • 资助金额:
    $ 5.82万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
A Biometrics Person Authentication Algorithm by Dynamic Feature of Facial Expression
一种基于面部表情动态特征的生物识别身份认证算法
  • 批准号:
    18300062
  • 财政年份:
    2006
  • 资助金额:
    $ 5.82万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
HIGH FIDELITY FACIAL MUSCLE MODELING AND ITS DYNAMIC CONTROL BY ANATOMICALAPPROACH
高保真面部肌肉建模及其解剖学动态控制
  • 批准号:
    13450161
  • 财政年份:
    2001
  • 资助金额:
    $ 5.82万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Media Conversion for User-friendly Human-Machine Interface
用户友好的人机界面的媒体转换
  • 批准号:
    04650295
  • 财政年份:
    1992
  • 资助金额:
    $ 5.82万
  • 项目类别:
    Grant-in-Aid for General Scientific Research (C)

相似国自然基金

胎儿颜面部三维超声标准切面自动提取方法研究
  • 批准号:
    61101026
  • 批准年份:
    2011
  • 资助金额:
    22.0 万元
  • 项目类别:
    青年科学基金项目

相似海外基金

BRAIN CONNECTS: A Center for High-throughput Integrative Mouse Connectomics
大脑连接:高通量集成鼠标连接组学中心
  • 批准号:
    10665380
  • 财政年份:
    2023
  • 资助金额:
    $ 5.82万
  • 项目类别:
Active Social Vision: How the Brain Processes Visual Information During Natural Social Perception
主动社交视觉:大脑如何在自然社交感知过程中处理视觉信息
  • 批准号:
    10608251
  • 财政年份:
    2023
  • 资助金额:
    $ 5.82万
  • 项目类别:
Functional circuitry and computation of the visual thalamus
视觉丘脑的功能电路和计算
  • 批准号:
    10577537
  • 财政年份:
    2023
  • 资助金额:
    $ 5.82万
  • 项目类别:
Computer-Aided Triage of Body CT Scans with Deep Learning
利用深度学习对身体 CT 扫描进行计算机辅助分类
  • 批准号:
    10585553
  • 财政年份:
    2023
  • 资助金额:
    $ 5.82万
  • 项目类别:
Evaluating the feasibility of an innovative point-of-care screening tool for detection of infant motor delay within the newborn period
评估用于检测新生儿时期婴儿运动迟缓的创新护理点筛查工具的可行性
  • 批准号:
    10742419
  • 财政年份:
    2023
  • 资助金额:
    $ 5.82万
  • 项目类别:
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了