A research on arts of English speeches from multimodal viewpoints, their automatic extraction and database construction

多模态英语演讲艺术及其自动抽取与数据库构建研究

• 批准号: 19520485
• 负责人: HORIUCHI Hiroaki
• 金额: $ 2.33万
• 依托单位: Shizuoka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2009
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-19520485/
• 关键词: 英語スピーチ術; マルチモーダル諸相; 情報技術; 自動抽出; 知識データベース; 英語教育; 情報技術研究

本研究では、英語スピーチの語彙・構文的特徴、韻律的特徴、身体言語的特徴の抽出と分析を行い、それぞれの特徴がどのような形で有機的に関連し合い英語スピーチの劇的効果を生み出しているかを考察し、その考察結果を知識データベース化した。またその知識データベースを基に、テキストや音声に関する言語的知識だけでなく、身振り・手振り等の身体言語的知識をも併せた英語学習を可能にするマルチモーダル知識コンテンツの制作を行った。

在这项研究中，我们提取和分析了英语演讲的词汇和句法特征，韵律和身体语言特征，并研究了每个特征如何有机地相互关系并产生英语语音的巨大影响，并在知识数据库中创造了这些研究的结果。基于此知识数据库，我们还创建了多模式知识内容，该内容允许学习英语，其中不仅包括有关文本和语音的语言知识，还包括诸如手势和手势的物理语言知识。

项目成果

話し手の心的状態とその言語表出について

关于说话人的心理状态及其语言表达

• 发表时间: 2007
• 作者: Katsuyama;Hitomi;Nishigaki;Chikako;Jingfang Wang;小山 由紀江;堀内裕晃
• 通讯作者: 堀内裕晃

マルチモーダル行動記述ツールによる音声行動アノテーション

使用多模态行为描述工具进行语音行为注释

• 发表时间: 2008
• 作者: 大谷尚史;桐山伸也;竹林洋一;北澤茂良
• 通讯作者: 北澤茂良

工学的視点からの幼児の行動観察とコーパス構築～認知・行動モデルの進化がもたらすもの～

从工程学角度观察婴儿行为和语料库构建——认知和行为模型的进化带来了什么——

• 发表时间: 2009
• 期刊: 日本音響学会誌 65巻、10号
• 作者: 竹林洋一;桐山伸也
• 通讯作者: 桐山伸也

マルチモーダル幼児行動コーパスに基づく指示表現の発達分析とモデル構築

基于多模态婴儿行为语料库的教学表达发展分析与模型构建

• 发表时间: 2009
• 期刊: チャイルド・サイエンス vol.5
• 作者: 石川翔吾;桐山伸也;大谷尚史;北澤茂良;竹林洋一
• 通讯作者: 竹林洋一

適応型カメラワークを用いたスタジオ内映像コンテンツ制作支援

使用自适应相机工作支持工作室内的视频内容制作

• 发表时间: 2007
• 作者: 内山吉彦;山本剛;坂根裕;杉山岳弘;竹林洋一
• 通讯作者: 竹林洋一