違和感の判断と同時性判断の乖離に注目した多感覚情報処理メカニズムの解明

以不适判断与同时性判断差异为重点的多感官信息处理机制的阐释

• 批准号: 22K03198
• 负责人: 藤崎 和香
• 金额: $ 2.66万
• 依托单位: Japan Women's University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K03198/
• 关键词: 多感覚知覚; 時間知覚; 質感知覚; マルチモダリティ; 映像と音声; 同時性判断; 感覚フィードバック; 時間ずれ; 多感覚情報処理; 違和感判断; マルチモーダル

現在、日常生活の中にオンラインが入り込み、ビデオ会議や動画視聴などにおける映像と音声の時間ずれに対する「違和感」がこれまで以上に重要な問題となっている。「違和感」は視聴者が映像と音声のずれに気付いている場合にも生じるが、ずれがあってもそのことに気付いていない場合にも生じる。本研究では、視覚、聴覚、触覚というように感覚をまたがった時間ずれが「同時である」と知覚されているにもかかわらず「違和感」を生じさせる場合に、そのような「違和感」がどのような手がかりに基づいて、どのように符号化され、多感覚情報処理のどの階層において処理されるのかを解明することを目指す。今年度はまず、日常生活で視聴する様々なタイプの動画（例：「料理」、「楽器演奏」など）について、映像と音声のタイミングをさまざまに変化させて、「違和感評価」、「同時性判断」、「時間順序判断」、「質感評価」行った。詳細については現在分析中であるが、全体の傾向として、同じ時間ずれ刺激に対する「違和感評価」、「同時性判断」、「時間順序判断」、「質感評価」には乖離が見られることが示された。　特に「料理」の動画において、映像と音声のずれを直接問われても気づかないにも関わらず、「違和感」や「質感」として問われると気づくといった例がみられた。今年度、日常で経験する様々なタイプの動画について探索的にデータを取得したことによって、今後より精緻でシステマティックな実験を実施していくにあたっての貴重な示唆を得ることができた。

如今，随着网络世界走进我们的日常生活，视频会议、视频观看等过程中视频与音频之间的时滞所造成的“不自然”已经成为比以往更加重要的问题。当观看者意识到视频和音频之间的差异时，会产生不适感，但当观看者没有意识到这种差异时，也会产生不适感。在这项研究中，我们调查了当视觉、听觉和触觉等感官之间的时间滞后产生“不自然的感觉”时，即使它被认为是“同时发生的”，也会引起什么样的“不自然的感觉”。 ”我们的目标是阐明这些线索是如何编码的，以及它们在多感官信息处理的哪一层进行处理。今年，我们将首先评估我们在日常生活中观看的各种类型的视频（例如烹饪、乐器演奏等），通过改变视频和音频的时间来评估不适感和“判断力”。 ”、“时间顺序判断”、“纹理评价”。虽然目前正在分析细节，但总体趋势表明，同时进行的“不自然度评价”、“同时性判断”、“时间顺序判断”、“质感评价”等方面存在差异。 - 改变了刺激。特别是，在“烹饪”视频中，有时人们在直接询问时没有注意到视频和音频之间的差异，但在询问“不自然的感觉”或“质感”时注意到了。今年，通过获取我们日常生活中经历的各类视频的探索性数据，我们为未来进行更精细、更系统的实验获得了宝贵的建议。