Synthetic approach to perceptual illusions using cognitive deep learning model with predictive learning

使用认知深度学习模型和预测学习来综合处理感知错觉

• 批准号: 22H03909
• 负责人: 飯塚 博幸
• 金额: $ 10.57万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03909/
• 关键词: 認知モデル; 深層学習; 錯覚; ラバーハンド錯覚; 構成論的アプローチ; 予測学習

初年度においては、錯覚としてラバーハンドイリュージョンに着目した。ラバーハンドイリュージョンでは、固有感覚で知覚される場所とは異なる位置に、偽物の手が視覚的に与えられ、その視覚上で偽物の手に刺激を与えられるのと同時に、本当の手に触覚刺激が与えられる。つまり、視覚と触覚には一貫性があるが、固有感覚だけずれている。このときに、固有感覚での手の位置が偽物の方に少しシフトする固有感覚ドリフトが生じる。この固有感覚ドリフトが、身体所有感の生起とともに生じるとする考えと、身体所有感の生起とは関係なく生じるという2つの対立する考えがある。今年度はこの問題に対して、構成論的アプローチを適用した。ラバーハンドイリュージョンに関する視覚、触覚、固有感覚をコンピュータ上でシミュレートするために、Unityを使って3次元シミュレーション環境を実装した。人と同等のスケールになるように大きさを決定し、頭部の位置に視覚情報を与えるカメラを配置した。固有感覚は腕が置かれる位置、触覚は物体が接触している度合いを3段階で表現してデータ化した。このシミュレーション環境において、日常我々が得ている感覚刺激と同様に、多感覚で一貫性をもった訓練データを作成した。テストデータとしては、ラバーハンドイリュージョンの実験を模倣した、固有感覚のずれたデータを作成した。これに伴い、認知モデルの構築も、視覚、触覚、固有感覚の3つの感覚を統合するモデルを構築した。モデル化には深層ニューラルネットワークを使用し、時間的な内部処理を行うことのできるLSTMを利用した。このモデルに対して、前述の訓練データを使用して感覚の予測学習をさせ、テストデータでの予測の変化を調べた。結果として、固有感覚ドリフトを生じさせることに成功した。つまり、ラバーハンド錯覚において固有感覚ドリフトはボトムアップ処理のみでも生じることがわかった。

在第一年，我们专注于橡胶手的幻想。在橡胶手幻觉中，假手在视觉上的位置与本体感受不同，同时在视觉上将假手在真实的手中具有触觉刺激。换句话说，视觉和触摸是一致的，但只有本体感受是扭曲的。目前，本体感受性漂移发生在本体感受手的位置略微向伪造的转移。有两个相互矛盾的想法：这种本体感受的漂移是随着身体所有权的发生而发生的，并且它独立于物体所有权的发生。今年，我们对这个问题采用了建设性方法。使用Unity实施了一个3D模拟环境，以模拟计算机上橡胶手幻觉的视觉，触觉和本体感受。确定尺寸的规模与一个人的尺度相同，并且提供视觉信息的相机位于头部位置。本体感受器以放置臂的位置的三个级别表示，并且对象之间的接触程度分为三个级别，数据转换为数字化。在这个模拟环境中，我们创建了多感官，一致的训练数据，类似于我们每天获得的感觉刺激。作为测试数据，我们创建了具有扭曲的本体感受性的数据，模仿了橡胶手幻觉的实验。与此同时，我们还构建了一个整合了三种感觉的模型：视觉，触觉和本体感受。为了建模，我们使用了LSTM，该LSTM可以使用深层神经网络随着时间的推移进行内部处理。该模型用于使用上述培训数据来预测感觉学习，以检查测试数据中预测的变化。结果，它成功地引起了本体感受的漂移。换句话说，发现本体感受性漂移仅发生在橡胶手幻觉中。

项目成果

共有モジュールを用いた自己他者重ね合わせによる姿勢模倣

使用共享模块使用自他叠加进行姿势模仿

• 发表时间: 2023
• 作者: 堀裕亮;谷藤誠斗;戸松太一;上野将敬;村山美穂;河合正人;瀧本彩加;柳田 雄輝; 加藤 誠; 河田 友香; 山本 岳洋; 大島 裕明; 藤田 澄男;髙橋 光，野口 渉，飯塚 博幸，山本 雅人
• 通讯作者: 髙橋 光，野口 渉，飯塚 博幸，山本 雅人

多感覚予測モデルを用いたゴム手錯覚シミュレーションにおける固有感覚ドリフト

使用多感官预测模型模拟橡胶手错觉中的本体感觉漂移

• 发表时间: 2023
• 作者: 松沢裕作・高嶋修一編（松沢裕作;高嶋修一;米山忠寛;若月剛史;日向祥子;小島庸平;藤野裕子;原山浩介;坂井博美;松山恵;中村元;竹内祐介;河野有理;野上元）;瀧本(猪瀬)彩加;堤 智昭; 小木曽 智信;原田 航平，野口 渉，飯塚 博幸，山本 雅人
• 通讯作者: 原田 航平，野口 渉，飯塚 博幸，山本 雅人

共有モジュールを用いた予測ネットワークによる対面する他者の視点獲得

使用共享模块的预测网络获取您遇到的另一个人的观点

• 发表时间: 2023
• 作者: 岩崎 智也，野口 渉，飯塚 博幸，山本 雅人