Reinforcement learning on Caenorhabditis elegans

秀丽隐杆线虫的强化学习

基本信息

批准号：
20K21805
负责人：
飯野雄一
金额：
$ 4.16万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2020
资助国家：
日本
起止时间：
2020-07-30 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では、コンピュータに強化学習により、線虫を目的の場所に向かわせるための刺激を学習させることを目的とした。後退を引き起こすASH神経に光遺伝学プローブ（ChR2）を発現させて、行動を記録しつつ機械が決定したタイミングで光刺激をし、後解像度を高く撮影した。このデータを使い、線虫の姿勢も含めて行動のモデル化を行なった。線虫の姿勢は主成分分析により、主要な5つの姿勢の線形結合として表現できることが知られている。この係数（a1;a5）の時系列を確率的生成モデル、MDN-RNN（混合正規分布-自己回帰ニューラルネットワークモデル）に学習させた。これにより、線虫行動の時系列が自動的に生成でき、さらに、混合正規分布で行動が自動的に分類されていることが分かった。このモデルをバーチャル線虫とし、その線虫に対して光刺激をコンピューターが行い、強化学習により設定したゴールに向かうよう学習を行わせた。その結果、学習により目的地に達することがよりよくできるようになることが確認された。次に再度実線虫に戻り、コンピュータが学習したタイミングで光刺激を行ったところ、実際の線虫はやはり設定したゴールに向かう傾向が見られた。以上より、線虫シミュレータが得られたことに加え、強化学習により、よりよい学習が得られたことが成果として挙げられる。

在这项研究中，我们旨在允许计算机通过加强学习来学习刺激，将线虫引导到其所需的位置。在灰神经上表达了光遗传学探针（CHR2），这会导致衰退，并在记录行为时，在机器确定的时间进行光刺激，随后以较高的分辨率拍摄。使用这些数据，我们对行为进行了建模，包括线虫的姿势。众所周知，线虫姿势可以通过主成分分析表示为五个主要姿势的线性组合。该系数的时间序列（A1; A5）使用随机生成模型MDN-RNN（混合正态分布 - 自动回调神经网络模型）训练。这允许自动执行线虫行为的时间序列，并发现行为会自动以混合正态分布为单位。该模型被用作虚拟线虫，计算机对线虫进行光刺激，并进行学习以通过增强学习来达到目标。结果，已经确认学习将使您能够更好地到达目的地。接下来，我们在计算机学习的时候返回坚固的线虫并进行了光刺激，实际的线虫也倾向于朝着设定的目标迈进。从以上，除了线虫模拟器外，还可以证明通过增强学习获得了更好的学习。

项目成果

期刊论文数量（15）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

線虫の行動制御神経回路機構の強化学習による探索

利用强化学习探索线虫行为控制神经回路机制

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
山内直寛;森啓太;飯野雄一;銅谷賢治
通讯作者：
銅谷賢治

線虫の混合密度再帰型ニューラルネットワークによる行動シミュレーションと強化学習による行動制御

使用混合密度循环神经网络的行为模拟和使用强化学习的行为控制线虫

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
Yicheng Du;Robin Scheibler;Masahito Togami;Kazuyoshi Yoshii;Tatsuya Kawahara;山内直寛
通讯作者：
山内直寛

The redundancy and diversity between two novel PKC isotypes that regulate learning in Caenorhabditis elegans.

DOI：
10.1073/pnas.2106974119
发表时间：
2022-01-18
期刊：
Proceedings of the National Academy of Sciences of the United States of America
影响因子：
11.1
作者：
Hiroki S;Iino Y
通讯作者：
Iino Y

線虫が侵害受容から忌避応答を引き起こす神経回路の解析

触发线虫伤害性厌恶反应的神经回路分析

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
久世晃暢;田澤右京;豊島有;大江紗;寺本孝行;石原健;飯野雄一
通讯作者：
飯野雄一

Molecules and neural network underlying salt preference

盐偏好背后的分子和神经网络

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Shingo Hiroki;Hirofumi Sato;Yu Toyoshima;Llian Mabardi;Hikari Yoshitane;Hinako Mitsui;Manami Kanamori;Chie Umatani;Shinji Kanda;Mashiro Tomoioka;Koichi Hashimoto;Hirofumi Kunitomo;Yoshitaka Fukada;Takeshi Ishihara;Yuichi Iino
通讯作者：
Yuichi Iino