視聴覚コンテンツにおける映像と音楽の適合性の効果の実験心理学的検討

视听内容中视频与音乐兼容性影响的实验心理检验

基本信息

批准号：
22K03199
负责人：
浅野倫子
金额：
$ 2.66万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究の目的は，短い映画のような視聴覚コンテンツにおいて映像と音楽が「適合している（適合していない）」と感じられる条件を特定し，そのように感じられる際の認知処理を実験心理学的手法により明らかにすることである。一般的な視聴覚統合では視覚と聴覚のタイミングや意味が不一致だと統合が促進されないが，映像と音楽の場合は，視聴覚情報の印象の不適合により，元の視覚情報や聴覚情報にはない印象（皮肉等）が創発される可能性が指摘されており，特殊な視聴覚統合として位置づけることができる。この着想に基づき，映像と音楽の適合性に寄与する情報の処理レベル（低次の知覚，中間的な感覚間協応，感情・意味等の高次処理）と，そのレベルが感性的な効果の生起のしかたに影響する可能性について，実験心理学的手法により明らかにする。1年目である2022年度は，短い視聴覚コンテンツにおける映像と音楽の感情（感情価（ポジティブ，ネガティブ）や覚醒度の高低）における適合性が，視聴覚コンテンツへの没入感の強さに与える影響を心理学実験により検討した。その結果，感情価と覚醒度が共に不適合であるときに没入感が最も低く，その条件に比べて，いずれか片方が適合でもう片方が不適合であるときのほうが有意に高まることが示された。しかし，そのような感情価や覚醒度における適合性の効果は，教示によって映像と音楽の関係に注目するように誘導するなどの操作の影響を受けやすいことを示唆する結果も得られた。映像と音楽の主観的調和感についても調べた。これらの研究成果の一部について，国内学会および国際学会で発表した。また，上記の実験的検討と並行して，映画など視聴覚コンテンツの鑑賞や読書における没入やその関連概念についての理論研究および実証研究の文献調査を行い，2年目以降の研究の理論的基盤を強化した。

这项研究的目的是确定在短片等视听内容中图像和音乐被感觉“匹配”（不匹配）的条件，并通过实验心理学研究当感觉到这种情况时发生的认知处理这需要用科学的方法来阐明。在一般的视听整合中，如果视觉和听觉信息的时间或意义不匹配，整合就不会变得容易，但在视频和音乐的情况下，视听信息印象之间的不匹配会导致印象中不存在的印象。有人指出，讽刺（例如讽刺）可能会出现，它可以被定位为一种特殊类型的视听整合。基于这个想法，有助于图像和音乐的兼容性的信息处理水平（低阶感知、中级感觉间协调、情感和意义等高阶处理）以及感官效果水平利用实验心理学方法，我们将阐明影响这种情况发生方式的可能性。在第一年的2022财年，我们将研究短视听内容中图像和音乐之间的情感（情感效价（积极、消极）和唤醒水平）的兼容性对视听内容沉浸强度的影响。这是通过心理学实验进行调查的。结果表明，当情绪效价和唤醒度不相容时，沉浸感最低，而当其中一种相容而另一种不相容时，沉浸感显着增加。然而，结果表明，兼容性对情绪效价和唤醒的影响很容易受到诸如引导人们注意图像和音乐之间关系的指导等操作的影响。我们还调查了图像和音乐之间的主观和谐感。其中部分研究成果在国内外学术会议上发表。此外，在上述实验研究的同时，我们还对电影等视听内容的沉浸感及相关概念进行了理论和实证研究的文献调查，为第二年强化研究提供理论基础。。