Koopman作用素を用いたニューラルネットワークの構築とその応用

Koopman算子神经网络的构建及其应用

基本信息

批准号：
21K12045
负责人：
大久保潤
金额：
$ 2.66万
依托单位：
Saitama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

研究計画２年目となる本年度は主に、データを用いずに方程式からニューラルネットワークを構築する方法について検証を進めた。従来、機械学習においては大量の学習データが必要となるが、方程式の情報を利用することでそのデータ数を減らせる可能性がある。そのために、データを利用せずに直接的に方程式からニューラルネットワークを構築することが本研究課題の目的である。これにより、例えば方程式のパラメータなどに不確実性を有する場合、まずニューラルネットワークを方程式の情報から構築し、その後、少量のデータを用いてニューラルネットワークを学習して微調整する、といった学習方法が可能となる。そのために本年度は、確率微分方程式系を念頭におき、時間発展後の統計量を出力するニューラルネットワークの構築を実施した。具体的には確率微分方程式に対して双対過程を導出し、その双対過程から得られる量とニューラルネットワークの重みとを直接比較する。前年度に実施した研究により、この着想が正しいと見込みがついたため、本年度はこの手法について１変数系、および２変数系の具体例での検証を進めた。その結果として、データから学習する場合と比べ、提案手法の場合には原点付近の性能に著しい向上が見られた。これは、双対過程そのものがテイラー展開に類似した考えに基づいており、その係数を利用して学習をしたためであると考察される。この性質は、注目している領域での学習性能を高めたい場合の応用にも適していると期待される。本成果については英語論文にまとめている最中である。また、前年度に実施した双対過程とKooman行列との対応に関する議論についての英語論文が採択・出版された。

今年是研究计划的第二年，我们主要研究了不使用数据的情况下从方程构建神经网络的方法。传统上，机器学习需要大量的训练数据，但可以通过使用方程信息来减少数据量。为此，本研究项目的目的是直接从方程构建神经网络，而不使用数据。因此，例如，如果方程的参数存在不确定性，则可以采用一种学习方法，其中首先根据方程信息构建神经网络，然后使用小模型对神经网络进行训练和微调。数据量变为。为此，今年我们构建了一个神经网络，在时间演化后输出统计数据，同时牢记随机微分方程组。具体来说，我们推导了随机微分方程的对偶过程，并将从对偶过程获得的量与神经网络的权重直接进行比较。前一年的研究表明这个想法很可能是正确的，所以今年我们用一变量和二变量系统的具体例子对这个方法进行了验证。结果，与从数据中学习相比，所提出的方法在原点附近表现出显着的性能改进。这被认为是因为对偶过程本身基于类似于泰勒展开的思想，并且使用其系数进行学习。该属性预计适用于希望提高感兴趣领域的学习性能的应用。该结果目前正在一篇英文论文中进行总结。另外，去年进行的一篇关于对偶过程与Kooman矩阵对应关系讨论的英文论文被接受并发表。