An adaptive hybrid control model of basal ganglia and cerebellum for stabilizing human upright posture

稳定人体直立姿势的基底节和小脑自适应混合控制模型

• 批准号: 22H03662
• 负责人: 野村 泰伸
• 金额: $ 11.32万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03662/
• 关键词: 姿勢制御; 強化学習; 大脳基底核; 小脳; パーキンソン病; 誤差学習; むだ時間制御系; 間欠制御; ハイブリッド制御; フィードバック誤差学習; 立位姿勢制御

ヒト脳におけるモデルフリーおよびモデルベースの意思決定・行動選択メカニズムの解明は、革新的ソフトコンピューティング技術開発に資する重要課題である。強化学習・報酬予測の座である大脳基底核と、教師あり学習により内部モデルを適応的に獲得する小脳の機能分担・機能連携のモデルは、そうした脳内メカニズムの有力仮説である。しかし具体的な脳機能を対象としてその実体がシステム工学的に解明された事例は少ない。本研究では、ヒト静止立位姿勢の安定化制御に焦点を絞り、基底核と小脳の機能を統合したヒト立位姿勢の適応的ハイブリッド制御モデルを構築し、姿勢安定化戦略の立位環境適応的な変化、および神経疾患(基底核・前庭・小脳疾患)に起因する姿勢不安定化メカニズムの解明を目指す。1年目の２０２２年度は、立位環境適応的な姿勢制御戦略の解明の基盤モデルの構築、および前庭症状を呈する患者の静止立位姿勢動揺の解析を実施した。特に前者に関しては、我々が提唱するヒト静止立位姿勢の間欠制御モデルに着目し、間欠制御戦略が強化学習を通じて獲得されるような即時報酬関数やノイズを含む学習環境の解明を目指した。報酬関数の探索は、様々な報酬関数を用意し、それぞれの報酬関数に基づく強化学習を実施し、間欠制御が獲得されるか否かを調査する順強化学習アプローチと、若年健常者の静止立位姿勢動揺データをエキスパートの行動データとみなし、逆強化学習アルゴリズムを用いて未知の報酬関数を推定するアプローチで進めた。その結果、直立位置からの姿勢のずれ（誤差）の最小化と姿勢制御に要するエネルギー消費パワーのトレードオフを内在するような比較的単純な瞬時コスト（負の報酬）関数の下で、フィードバック時間遅れと適切な累積割引率を仮定した強化学習が行われると、間欠制御戦略が獲得されることが明らかになった。この成果は、現在国際英文誌に投稿準備中である。

阐明人脑中的无模型和基于模型的决策和行为选择机制是一个重要的问题，有助于开发创新的软计算技术。基底神经节之间的功能共享和功能合作模型，这是强化学习和奖励预测的位置，小脑通过监督学习可以适应内部模型，是这种大脑机制的有力假设。但是，在很少有情况下，混凝土脑功能的实质是通过系统设计阐明的。这项研究的重点是对人类静态站立姿势的稳定控制，并旨在构建人类站立姿势的自适应混合控制模型，该模型整合了基底神经节和小脑的功能，并阐明姿势稳定策略在站立环境中的姿势稳定策略的适应性变化，以及由神经学的构成机制（基础构成）（源自神经学的机制），并构成了依赖的机制，并构成了源源不断的机制，并构成了源源不断的机制，并构成了构成的机制，并构成了构成的机制，并构成了构成的机制。 疾病）。在2022年的第一年，我们构建了一个基本模型，用于阐明对站立环境的位置控制策略，并分析了前庭症状患者的固定站立姿势搅动。特别是，关于前者，我们专注于我们提出的人类平稳姿势的间歇控制模型，并旨在阐明包括即时奖励功能和噪音的学习环境，其中通过加强学习获得了间歇性控制策略。使用前向加强学习方法进行了搜索奖励功能，其中准备了各种奖励功能，基于每个奖励功能的强化学习以及是否获得了间歇性控制，并使用一种方法使用一种方法，该方法使用一种方法的数据数据被认为是年轻健康的人的固定式姿势，将其视为专家的行为数据，并使用未知的奖励函数来估算一个不知道的奖励函数。结果，据揭示，在基于反馈时间延迟的假设以及相对简单的即时成本（负成本（负奖励）功能下进行的适当累积折现率进行的假设，这是一种间歇性控制策略，这是在能量消耗功能之间固有的固定功能所需的折衷功能所需的权衡（最小化姿势偏差（误差））所需的折衷功能。目前，这项成就已准备好提交国际英语期刊。

项目成果

ヒト静止立位姿勢のニューロメカニクス：脳と身体メカニクスの巧みな相互作用

人体静息站立姿势的神经力学：大脑与身体力学之间的巧妙相互作用

• 发表时间: 2022
• 作者: 中川夢斗;木下貴登;増山直輝;能島裕介;石渕久生;野村泰伸
• 通讯作者: 野村泰伸

ヒト静止立位姿勢の間欠フィードバック制御を強化学習的に獲得する報酬関数の探索

使用强化学习寻找奖励函数以获得人体静态站立姿势的间歇反馈控制

• 发表时间: 2023
• 作者: 高澤 知起;鈴木 康之;中村 晃大;松尾 理沙;野村 泰伸
• 通讯作者: 野村 泰伸

Intermittent Control Strategy for Stabilizing Human Quiet Stance, A Model of the

稳定人类安静姿态的间歇控制策略，一个模型

• DOI: 10.1007/978-1-0716-1006-0_100698
• 发表时间: 2022
• 期刊: Encyclopedia of Computational Neuroscience
• 作者: Nomura Taishin;Suzuki Yasuyuki;Morasso Pietro G.
• 通讯作者: Morasso Pietro G.

ヒト静止立位姿勢の 間欠フィードバック制御を生成する 報酬関数の順強化学習的探索

前向强化学习寻找奖励函数，产生人类静态站立姿势的间歇性反馈控制

• 发表时间: 2022
• 作者: 高澤知起;松尾理沙;鈴木康之;中村晃大;野村泰伸
• 通讯作者: 野村泰伸

ヒト静止立位姿勢変化に連動した微小床面移動外乱が姿勢動揺に及ぼす影響

与人体静态站立姿势的姿势变化相关的微小地板运动干扰对姿势摇摆的影响

• 发表时间: 2022
• 作者: 中川夢斗;木下貴登;増山直輝;能島裕介;石渕久生;野村泰伸;木下貴登，増山直輝，能島裕介，石渕久生;三浦涼大，鈴木康之，中村晃大，森原希帆，野村泰伸
• 通讯作者: 三浦涼大，鈴木康之，中村晃大，森原希帆，野村泰伸