無関連音が視覚提示の言語課題の遂行に及ぼすクロスモーダルな妨害効果

不相关声音对视觉呈现的语言任务表现的跨模态干扰效应

• 批准号: 18730462
• 负责人: 田中 章浩
• 金额: $ 1.15万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2006
• 资助国家: 日本
• 起止时间: 2006 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18730462/
• 关键词: 実験系心理学; 無関連音; 言語; クロスモーダル

仕事や勉強をしているときに、周りで話し声、音楽、騒音などが聞こえると、作業の能率が低下することは、日常的経験からもよく知られている。このように認知課題に対して聴覚刺激が及ぼす妨害効果は「無関連音効果」と呼ばれ、実験室内でも検討されている。本研究の最終的な目標は、従来統一的な説明が不可能であった無関連音効果に対して、統一的な説明を与えることにある。具体的には、なぜある状況では無関連音に含まれる音韻情報が言語課題の遂行に干渉し、別の状況では干渉しないのであろうかという問題の解決を目指す。19年度は、視覚提示の言語課題と聴覚提示の言語課題が相互に及ぼす影響とその時間特性について検討するために、マガーク効果を用いた実験によって検討を進めた。実験では、視覚、聴覚、視聴覚の3条件で、pa,ta,kaといった無意味な音節をさまざまな時間差をつけて提示した。視覚と聴覚で提示する音節は一致している条件と不一致の条件があった。実験の結果、聴覚提示の音節を無視するように教示してもなお、視覚提示の音節の判断に影響が生じた。また逆に、視覚提示の音節を無視するように教示してもなお、聴覚提示の音節の判断に影響が生じた。また、多少の時間差がある場合でもこれらの効果は生じた。具体的には、「視覚→聴覚」の順序の場合、約400ミリ秒の時間差があっても効果が持続し、「聴覚→視覚」の順序の場合、約200ミリ秒の時間差が許容された。これらの結果は、視覚提示の言語と聴覚提示の言語は音韻処理レベルで相互に干渉することを示唆する結果である。

从日常经验中众所周知，当您在工作或学习时听到人们说话、音乐或噪音时，您的工作效率就会降低。听觉刺激对认知任务的这种干扰效应被称为“无关声音效应”，并已在实验室进行了研究。这项研究的最终目标是为迄今为止无法解释的不相关的声音效果提供统一的解释。具体来说，我们的目标是解决为什么不相关声音中包含的语音信息在某些情况下会干扰语言任务的执行，但在其他情况下却不会干扰这一问题。 2019年，我们利用麦格克效应进行了一项实验，考察视觉呈现语言任务和听觉呈现语言任务的相互影响和时间特征。实验中，pa、ta、ka等无意义音节在视觉、听觉、视听三种条件下的不同时间呈现。所呈现的音节在视觉和听觉上存在匹配的情况，也存在不匹配的情况。结果表明，即使受试者被教导忽略听觉音节，他们对视觉呈现音节的判断仍然受到影响。相反，即使当受试者被教导忽略视觉呈现的音节时，他们对听觉音节的判断仍然受到影响。而且，即使存在微小的时间差异，这些效果也会发生。具体而言，在“视觉→听觉”顺序的情况下，即使存在约400毫秒的时间差，效果仍然持续，而在“听觉→视觉”顺序的情况下，即使存在约200毫秒的时间差，效果也持续。容忍。这些结果表明视觉呈现的语言和听觉呈现的语言在语音处理水平上相互干扰。

项目成果

Effects of intermodal timing difference and speed difference on auditory-visual speech perception

联运时间差和速度差对听觉-视觉语音感知的影响

• 发表时间: 2006
• 期刊: Journal of Acoustical Society of America 120(6)
• 作者: Tanaka;A.;Sakamoto;S.;Tsumura;K.;Suzuki;Y.
• 通讯作者: Y.