強化学習による適応的制御を用いたプラズマの複合制御の実現

利用强化学习的自适应控制实现等离子体的复杂控制

基本信息

批准号：
19K14697
负责人：
若月琢馬
金额：
$ 1.83万
依托单位：
National Institutes for Quantum Science and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K14697/
关键词：
トカマク強化学習適応的制御

项目摘要

令和4年度はJT-60SAにおける電流分布と圧力分布の複合制御システムの研究開発を進めた。安全係数の最小値を1.5以上に維持しながら、規格化ベータ値が3.0とする制御を学習させた。内部輸送障壁を持つ先進プラズマ運転に対する信頼性の高い複合制御を実現することを目指し、学習時には内部輸送障壁における熱輸送の低減度合い（輸送障壁の強さ）に幅を持たせて学習を行った。しかし、輸送障壁の強さが大きく異なるプラズマでは、複合制御に必要な制御が大きく異なり、単一のニューラルネットワークで適切な制御を学習することが困難であることが明らかになった。そこで、学習時の輸送障壁の強さを複数の範囲に分割して、それぞれの限定された輸送障壁の強さを持つプラズマに対する複合制御を強化学習した複数のニューラルネットワークを用意した。さらに、強化学習を行う中で得られたプラズマシミュレーションの結果を利用して、計測データから輸送障壁の強さを判定するニューラルネットワークの学習を行った。このニューラルネットワークが判定する輸送障壁の強さに応じて制御に使用するニューラルネットワークを切り替える、二段階のシステムを構築することで、幅広い輸送障壁の強さに対して安全係数と規格化ベータ値の複合制御を実現した。

2020财年，我们对JT-60SA的电流分配和压力分配联合控制系统进行了研发。我们训练控制以将安全系数的最小值维持在 1.5 或更高，同时将标准化 beta 值维持在 3.0。为了实现具有内部传输势垒的先进等离子体操作的高度可靠的复合控制，对内部传输势垒处的热传输减少程度（传输势垒强度）进行了学习。然而，在传输势垒强度变化很大的等离子体中，复杂控制所需的控制差异很大，并且很明显，用单个神经网络很难学习适当的控制。因此，我们将学习过程中的传输势垒强度分为多个范围，并准备了多个神经网络，对每个有限传输势垒强度的等离子体的复杂控制进行强化学习。此外，利用强化学习过程中获得的等离子体模拟结果，我们训练了一个神经网络，该网络可以根据测量数据确定传输障碍的强度。通过构建一个两级系统，根据该神经网络判断的传输障碍的强度来切换用于控制的神经网络，可以针对各种传输障碍强度调整安全系数和归一化β值，从而实现复合。控制。