Tactile and auditory augmentations based on the mechanism of perceptions acquired by visually impaired people

基于视障人士感知机制的触觉和听觉增强

基本信息

批准号：
20H04561
负责人：
伊福部達
金额：
$ 11.32万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2023-03-31
项目状态：
已结题

项目摘要

本研究では、視覚障害者への有効な感覚提示・拡張手法を提案するために、自ら獲得した触覚・聴覚の質感メカニズムを調べ、触覚・聴覚単独の場合と双方が同時提示される場合における質感知覚を比較した。具体的には、(1) 視覚障害者が聴覚的に感じる空間や音声の質感知覚メカニズム、 (2) 視覚障害者が触覚的に感じるテクスチャの質感知覚メカニズム、(3) 視覚障害者における触覚・聴覚におけるマルチモーダル知覚の特性を調べた。以上の調査は3段階を経て実施された。すなわち(A) 視覚障害者への質感知覚に関する聞き取り/アンケート調査、(B) 触覚・聴覚提示システムの開発、(C) システムを用いた質感知覚の実験的評価である。これらの研究成果を基に、視覚障害者へのより有効な質感提示・感覚拡張指針を提案した。本年度は、(1)得られた調査結果を既存研究と比較の上で空間・音声に関する質感に関する仮説を整理し、主に全盲者に対して、聴覚的に感じられる空間印象に対する評価実験を行った。 (2)紙質ごとの点字の印象についての調査を行い、既存研究と比較の上で彼らが触覚的に感じる質感についての仮説を整理した。同時に、テクスチャ提示を行えるように、既存の触覚ディスプレイを改良した。 (3)視覚障害者に、触覚情報と聴覚情報が同時提示された場合の双方の影響による質感の変化を調べた。例えば、スクリーンリーダと点字ディスプレイを併用して文章を読んだ場合、点字と音声の情報が食い違うときに生じる混乱について調べた。さらに、視覚経験の有無によるクロスモーダルな錯覚の違いに着目し、質感認識メカニズムの仮説を提示した。以上の結果を基に、より効果的な提示/感覚拡張指針を提案した。

在这项研究中，为了提出有效的方法来展示和扩展视觉障碍的个体的感觉，我们研究了我们获得的触觉和听力的纹理机制，并比较了触觉和单独听证的质地感知以及同时表现出来的纹理感知。具体来说，我们研究了（1）视觉障碍者的质地感知机制的特征，（（2）（2）视觉上受损的人会感受到的纹理感知机制，以及（3）在视觉上触摸和听到的人的触感和听到的多模式感知的特征。上述调查分为三个阶段。也就是说，（a）对视力受损的人的纹理感知的访谈/问卷调查，（b）开发触觉和听觉表现系统，以及（c）使用该系统对纹理感知的实验评估。基于这些研究结果，我们为视觉受损的人提出了更有效的指南，以提出纹理和感觉扩展。今年，（1）我们通过现有研究编制了调查的结果，对空间和语音的质地进行了汇编的假设，并对空间印象进行了评估实验，这些实验可以感觉到听觉，主要是针对盲人。（2）我们对每种纸质质量的盲文印象进行了一项调查，并与现有研究相比，汇总了他们战术上感觉到的质地的假设。同时，我们改进了现有的触觉显示，以允许纹理表现。（3）由于触觉和听觉信息的影响以及同时显示对视觉障碍的个体的影响，我们研究了纹理变化。例如，当使用屏幕读取器和盲文显示器读取文本时，我们研究了当盲文和音频之间的信息不同时发生的混乱。此外，由于存在或不存在视觉体验，我们重点介绍了跨模式幻觉的差异，并提出了纹理识别机制的假设。基于上述结果，我们提出了一个更有效的表示/感觉扩展指南。