身体表現と声色からのマルチモーダル感情知覚プロセス　文化と発達的視点からの検討

基于身体表达和语气的多模态情感感知过程：从文化和发展角度审视

基本信息

批准号：
22K18160
负责人：
山本寿子
金额：
$ 3万
依托单位：
Tokyo Woman's Christian University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K18160/
关键词：
身体表現感情視聴覚統合声色発達多感覚知覚身体音声

项目摘要

我々は相手の顔を見たり声を聞いたりと、感情をマルチモーダルに読み取っている。従来の検討は顔と声の組み合わせからの読み取りに焦点が当てたものが多かったが、本研究では、身体表現と声色からのマルチモーダル感情知覚に焦点を当て、そのプロセスを文化差と発達的変化の視点から検討する。そして、マルチモーダル感情知覚モデルの構築を目指す。この実現にあたって、日本人による身体表現を用いたマルチモーダルデータベースの作成、マルチモーダル感情知覚様式の比較文化的検討、マルチモーダル感情知覚様式の発達的変化の検討の3つの側面から研究を行うものである。令和4年度は、データベース作成に向けての計画および撮影の準備と、マルチモーダル感情知覚様式の発達的変化にかかわる検討とデータの解析を行った。その結果、身体表現と声色の組み合わせからのマルチモーダル感情知覚は、顔と声の組み合わせのときには視覚情報から聴覚情報の方向に重視する手がかりがシフトするのに対して、身体表現と声の組み合わせではその逆に、聴覚情報から視覚情報に重視する手がかりがシフトすることが明らかとなった。また、身体表現を行うアクターの文化による影響も大きく、アクターが内集団であるほうが身体表現が伝わりやすいことも示唆された。さらに、身体表現を静止画にすると年齢を問わず一貫して声の影響が強まるが、身体表現が動画のときには静止画よりも声の影響が弱まるというように、感情知覚における時間的情報の重要性も示された。

我们通过观察人们的面孔和倾听他们的声音来多模式地解读人们的情绪。之前的研究大多集中在从面部和声音的结合上进行阅读，但在本研究中，我们重点关注从身体表情和语气中的多模态情感感知，并通过考察文化差异和发展因素的角度来考虑这一过程。的变化。然后，我们的目标是构建一个多模态情感感知模型。为了实现这一目标，我们将从三个方面进行研究：创建使用日本人身体表达的多模态数据库、多模态情感感知方式的比较文化研究以及多模态情感感知方式的发展变化研究。 2020财年，我们规划和准备了数据库的创建，并对数据进行了分析，研究了多模态情绪感知的发展变化。因此，身体表情和语气相结合的多模态情感感知表明，当面部和声音相结合时，强调的线索从视觉信息转向听觉信息，而当身体表情和声音相结合时，强调的线索从视觉信息转向听觉信息。相反，强调的线索从听觉信息转向了视觉信息。还有人提出，演员表演身体表达的文化影响很大，当演员属于团体内时，身体表达更容易传达。此外，当身体表情是静止图像时，无论年龄如何，语音的影响始终较强，但是当身体表情是视频时，语音的影响比静止图像时弱，这表明时间信息是性别在情感感知中也很重要。