Synthetic approach to perceptual illusions using cognitive deep learning model with predictive learning

使用认知深度学习模型和预测学习来综合处理感知错觉

• 批准号: 22H03909
• 负责人: 飯塚 博幸
• 金额: $ 10.57万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03909/
• 关键词: 認知モデル; 深層学習; 錯覚; ラバーハンド錯覚; 構成論的アプローチ; 予測学習

初年度においては、錯覚としてラバーハンドイリュージョンに着目した。ラバーハンドイリュージョンでは、固有感覚で知覚される場所とは異なる位置に、偽物の手が視覚的に与えられ、その視覚上で偽物の手に刺激を与えられるのと同時に、本当の手に触覚刺激が与えられる。つまり、視覚と触覚には一貫性があるが、固有感覚だけずれている。このときに、固有感覚での手の位置が偽物の方に少しシフトする固有感覚ドリフトが生じる。この固有感覚ドリフトが、身体所有感の生起とともに生じるとする考えと、身体所有感の生起とは関係なく生じるという2つの対立する考えがある。今年度はこの問題に対して、構成論的アプローチを適用した。ラバーハンドイリュージョンに関する視覚、触覚、固有感覚をコンピュータ上でシミュレートするために、Unityを使って3次元シミュレーション環境を実装した。人と同等のスケールになるように大きさを決定し、頭部の位置に視覚情報を与えるカメラを配置した。固有感覚は腕が置かれる位置、触覚は物体が接触している度合いを3段階で表現してデータ化した。このシミュレーション環境において、日常我々が得ている感覚刺激と同様に、多感覚で一貫性をもった訓練データを作成した。テストデータとしては、ラバーハンドイリュージョンの実験を模倣した、固有感覚のずれたデータを作成した。これに伴い、認知モデルの構築も、視覚、触覚、固有感覚の3つの感覚を統合するモデルを構築した。モデル化には深層ニューラルネットワークを使用し、時間的な内部処理を行うことのできるLSTMを利用した。このモデルに対して、前述の訓練データを使用して感覚の予測学習をさせ、テストデータでの予測の変化を調べた。結果として、固有感覚ドリフトを生じさせることに成功した。つまり、ラバーハンド錯覚において固有感覚ドリフトはボトムアップ処理のみでも生じることがわかった。

在第一年，他专注于橡胶处理作为一种幻想。在橡胶处理中，假手在视觉上与以独特的感觉感知到的位置不同，并且对假手刺激了视觉效果，与此同时，真实的手是触觉刺激。换句话说，视觉和触觉感觉是一致的，但只有他们独特的感官。目前，独特的感觉在独特的意义上转移到了假手。有两个概念是，这种独特的漂移是出于物理所有权的创建而发生的，无论物理所有权的发生如何，它都会发生。今年，对此问题采用了一种配置方法。已经使用Unity实施了一个3D模拟环境，以模拟与计算机上与橡胶处理器有关的视觉，触摸和触觉感觉。确定尺寸使得比例等同于一个人，并且给出视觉信息的相机被放在头部位置。独特的感觉是放置臂的位置，并通过三个步骤表达对象中的接触程度将触摸感转换为数据。在这个模拟环境中，我们创建了一个多方面且一致的训练数据，以及我们获得的感觉刺激。至于测试数据，我们创建了一种模仿橡胶处理实验的独特数据感。随之而来的是，认知模型的构建已被构建以整合三种感觉：视觉，触觉和独特的感觉。为了建模，使用了一个深神经网络，并使用了可以及时执行内部处理的LSTM。对于此模型，我们使用上述培训数据来对感官进行预测学习，并检查了测试数据预测的变化。结果，我们成功地引起了独特的漂移感。换句话说，在橡胶手的幻觉中，发现独特的漂移感也仅是由底部的过程引起的。

项目成果

共有モジュールを用いた自己他者重ね合わせによる姿勢模倣

使用共享模块使用自他叠加进行姿势模仿

• 发表时间: 2023
• 作者: 堀裕亮;谷藤誠斗;戸松太一;上野将敬;村山美穂;河合正人;瀧本彩加;柳田 雄輝; 加藤 誠; 河田 友香; 山本 岳洋; 大島 裕明; 藤田 澄男;髙橋 光，野口 渉，飯塚 博幸，山本 雅人
• 通讯作者: 髙橋 光，野口 渉，飯塚 博幸，山本 雅人

多感覚予測モデルを用いたゴム手錯覚シミュレーションにおける固有感覚ドリフト

使用多感官预测模型模拟橡胶手错觉中的本体感觉漂移

• 发表时间: 2023
• 作者: 松沢裕作・高嶋修一編（松沢裕作;高嶋修一;米山忠寛;若月剛史;日向祥子;小島庸平;藤野裕子;原山浩介;坂井博美;松山恵;中村元;竹内祐介;河野有理;野上元）;瀧本(猪瀬)彩加;堤 智昭; 小木曽 智信;原田 航平，野口 渉，飯塚 博幸，山本 雅人
• 通讯作者: 原田 航平，野口 渉，飯塚 博幸，山本 雅人

共有モジュールを用いた予測ネットワークによる対面する他者の視点獲得

使用共享模块的预测网络获取您遇到的另一个人的观点

• 发表时间: 2023
• 作者: 岩崎 智也，野口 渉，飯塚 博幸，山本 雅人