Robust training based on combined online/batch training techniques

基于在线/批量训练相结合的稳健训练

• 批准号: 23500189
• 负责人: HIROSHI Ninomiya
• 金额: $ 2.41万
• 依托单位: Shonan Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2011
• 资助国家: 日本
• 起止时间: 2011 至 2013
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-23500189/
• 关键词: ニューラルネットワーク; 学習アルゴリズム; 準ニュートン法; オンライン学習; バッチ学習; 並列アルゴリズム; オンライン学習法; バッチ学習法

In this research, it is a purpose to enable the approximation model by the feedforward neural networks for the function or the system with the highly nonlinear behavior by the following studies. Specifically, "Proposal of a novel training algorithm using combined online/batch quasi-Newton techniques", and "Analysis on the robustness of the proposed algorithm". Here, robustness in this research means that the proposed algorithm has strong ability to search a global minimum without being trapped into local minimum. Furthermore, this approach is useful for the circuit modeling for the design and optimization, where analytical formulas are not available or original model is computationally too expensive. A neural model is trained once, and can be used again and again. This avoids repetitive circuit simulations where a change in the physical dimension requires a re-simulation of the circuit structure.

在这项研究中，目的是通过以下研究通过馈电神经网络来实现该功能或系统的近似模型。具体而言，“使用在线/批次准牛顿技术组合的新型培训算法提出的建议”和“有关拟议算法的鲁棒性的分析”。在这里，这项研究的鲁棒性意味着所提出的算法具有强大的搜索全球最低最低限度的能力而不会被困在局部最低限度中。此外，这种方法对于设计和优化的电路建模很有用，在分析公式不可用或原始模型在计算上太昂贵。神经模型一次训练一次，可以一次又一次使用。这避免了重复的电路模拟，其中物理维度的变化需要重新仿真电路结构。

项目成果

寿命付きリーダーを用いたローカル粒子群最適化についての研究

使用寿命读取器的局部粒子群优化研究

• 发表时间: 2014
• 作者: 布目 裕司;村上 和人;小林 邦和;成瀬 正;佐伯 誠，坂下善彦，二宮 洋
• 通讯作者: 佐伯 誠，坂下善彦，二宮 洋

階層型ニューラルネットワークの学習に対する online/batch ハイブリッド型準ニュー トン法の有効性に関する研究

在线/批量混合拟牛顿法训练分层神经网络的有效性研究

• 发表时间: 2012
• 期刊: Journal of Signal Processing
• 作者: 阿倍俊和;坂下善彦;二宮 洋
• 通讯作者: 二宮 洋

Robust Training of Multilayer Neural Networks Using Parameterized Online Quasi-Newton Algorithm

• DOI: 10.1109/icmla.2011.123
• 发表时间: 2011-12
• 期刊: 2011 10th International Conference on Machine Learning and Applications and Workshops
• 作者: H. Ninomiya

MIMO 通信における相互情報量基準に基づく量子化器の設計法

MIMO通信中基于互信息准则的量化器设计方法

• 发表时间: 2012
• 作者: 小林 学;八木秀樹;二宮 洋;平澤茂一
• 通讯作者: 平澤茂一

Reduced Reconfigurable Logic Circuit Design based on Double Gate CNTFETs using Ambipolar Binary Decision Diagram

使用双极二元决策图基于双栅极 CNTFET 的简化可重构逻辑电路设计

• 发表时间: 2013
• 期刊: IEICE Trans. on Fundamentals
• 作者: Ninomiya;H.;Kobayashi;M. and Watanabe S
• 通讯作者: M. and Watanabe S