Stability Analysis and Optimal Synthesis of Recurrent Neural Networks by Conic Programming

圆锥规划循环神经网络的稳定性分析与优化综合

基本信息

批准号：
21H01354
负责人：
蛯原義雄
金额：
$ 10.73万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

2021年度の取り組みにより，積分二次制約（Integral Quadratic Constraint, IQC）と共正値マルチプライアを用いた再帰型ニューラルネットワーク (Reccuernt Neural Network, RNN) の安定性解析に関する基本的な枠組みを構築することができた．本研究では，RNNの活性化関数として正規化線形ユニット(Rectified Linear Unit, ReLU)が標準的に用いられることに着目している．安定性解析における基本的な考え方は，RNNをReLUと線形部からなる非線形フィードバック系と捉え，さらにIQCの枠組みでReLUの出力の非負性を捉えるために共正値マルチプライアを導入することで，RNNの安定性判別を可能とする半正定値計画問題を導出するというものである．ReLUの特性を捉えるために共正値計画という特殊な錐計画を利用している点に本研究の独創性がある．このRNNの安定性解析手法の構築過程で，ReLUの出力が非負値に限定されることに関連して，線形時不変システムの入力を非負に限定した場合のL2誘導ノルム（L2+誘導ノルムと称する）が，RNN を含むニューラルネットワークの安定性や性能解析において有用であることが分かった．そのため，線形時不変システムのL2+誘導ノルムの解析に関する研究を進め，L2+誘導ノルムの上界値および下界値を算出するための基本的な枠組みを構築した．

通过我们在FY2021的努力，我们能够使用集成的二次约束（IQC）和共阳性乘数建立一个基本的递归神经网络（RNN）稳定性分析的框架。在这项研究中，我们关注标准化线性单元（REL）作为RNN激活的函数的标准使用。稳定分析中的基本思想是将RNN视为由relu和线性零件组成的非线性反馈系统，并进一步引入了共阳性乘数，以捕获IQC框架内Relu输出的非统一性，这是一个半阳性的确定编程问题，允许确定RNN稳定性。这项研究的独创性是它使用一种称为共阳性价值计划的特殊锥体方案来捕获Relu的特征。在为RNN稳定性分析构建此方法的过程中，当线性时间传播系统的输入仅限于非阴性值时，L2诱导的规范（称为L2+诱导的规范）可用于稳定性和性能分析包含RNN的神经网络。因此，我们已经对线性时间不变系统中L2+诱导的规范进行分析进行了研究，并建立了一个基本框架，用于计算L2+诱导的规范的上限和下限。