Reinforcement learning on Caenorhabditis elegans

秀丽隐杆线虫的强化学习

基本信息

批准号：
20K21805
负责人：
飯野雄一
金额：
$ 4.16万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2020
资助国家：
日本
起止时间：
2020-07-30 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では、コンピュータに強化学習により、線虫を目的の場所に向かわせるための刺激を学習させることを目的とした。後退を引き起こすASH神経に光遺伝学プローブ（ChR2）を発現させて、行動を記録しつつ機械が決定したタイミングで光刺激をし、後解像度を高く撮影した。このデータを使い、線虫の姿勢も含めて行動のモデル化を行なった。線虫の姿勢は主成分分析により、主要な5つの姿勢の線形結合として表現できることが知られている。この係数（a1;a5）の時系列を確率的生成モデル、MDN-RNN（混合正規分布-自己回帰ニューラルネットワークモデル）に学習させた。これにより、線虫行動の時系列が自動的に生成でき、さらに、混合正規分布で行動が自動的に分類されていることが分かった。このモデルをバーチャル線虫とし、その線虫に対して光刺激をコンピューターが行い、強化学習により設定したゴールに向かうよう学習を行わせた。その結果、学習により目的地に達することがよりよくできるようになることが確認された。次に再度実線虫に戻り、コンピュータが学習したタイミングで光刺激を行ったところ、実際の線虫はやはり設定したゴールに向かう傾向が見られた。以上より、線虫シミュレータが得られたことに加え、強化学習により、よりよい学習が得られたことが成果として挙げられる。

这项研究的目的是利用强化学习来教导计算机将线虫引导到所需位置的刺激。在引起退化的 ASH 神经中表达光遗传学探针（ChR2），在记录行为的同时，在机器确定的时间施加光刺激，然后拍摄高分辨率图像。利用这些数据，他们模拟了线虫的行为，包括它们的姿势。众所周知，利用主成分分析，线虫的姿势可以表示为五种主要姿势的线性组合。随机生成模型 MDN-RNN（混合正态分布-自回归神经网络模型）根据该系数 (a1;a5) 的时间序列进行训练。结果，可以自动生成线虫行为的时间序列，此外，发现使用混合正态分布自动对行为进行分类。计算机使用该模型作为虚拟线虫，对线虫施加光刺激，使其学会使用强化学习朝着设定的目标前进。结果证实，学习可以让你更好地到达目的地。接下来，当他们回到真正的线虫身上，并在计算机学到的时间施加光刺激时，真正的线虫仍然倾向于朝着他们设定的目标移动。综上所述，除了创建线虫模拟器之外，结果是通过强化学习实现了更好的学习。

项目成果

期刊论文数量（15）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

線虫の行動制御神経回路機構の強化学習による探索

利用强化学习探索线虫行为控制神经回路机制

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
山内直寛;森啓太;飯野雄一;銅谷賢治
通讯作者：
銅谷賢治

線虫の混合密度再帰型ニューラルネットワークによる行動シミュレーションと強化学習による行動制御

使用混合密度循环神经网络的行为模拟和使用强化学习的行为控制线虫

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
Yicheng Du;Robin Scheibler;Masahito Togami;Kazuyoshi Yoshii;Tatsuya Kawahara;山内直寛
通讯作者：
山内直寛

The redundancy and diversity between two novel PKC isotypes that regulate learning in Caenorhabditis elegans.

DOI：
10.1073/pnas.2106974119
发表时间：
2022-01-18
期刊：
Proceedings of the National Academy of Sciences of the United States of America
影响因子：
11.1
作者：
Hiroki S;Iino Y
通讯作者：
Iino Y

線虫が侵害受容から忌避応答を引き起こす神経回路の解析

触发线虫伤害性厌恶反应的神经回路分析

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
久世晃暢;田澤右京;豊島有;大江紗;寺本孝行;石原健;飯野雄一
通讯作者：
飯野雄一

Molecules and neural network underlying salt preference

盐偏好背后的分子和神经网络

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Shingo Hiroki;Hirofumi Sato;Yu Toyoshima;Llian Mabardi;Hikari Yoshitane;Hinako Mitsui;Manami Kanamori;Chie Umatani;Shinji Kanda;Mashiro Tomoioka;Koichi Hashimoto;Hirofumi Kunitomo;Yoshitaka Fukada;Takeshi Ishihara;Yuichi Iino
通讯作者：
Yuichi Iino