Model selection criterion for bridge estimator in sparse learning

稀疏学习中桥估计器的模型选择准则

• 批准号: 21K12048
• 负责人: 萩原 克幸
• 金额: $ 1.83万
• 依托单位: Mie University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12048/
• 关键词: 汎化性; Soft-thresholding; Bridge推定量; Data Augmentation; Soft-Thresholding; Hard-Thresholding; スケーリング; ブリッジ推定量; LASSO; スパース学習; モデル選択規準

本研究では、前年度、直交回帰の場合のLASSO推定量であるSoft-Thresholding推定量のスケーリングに基づくBridge推定量を導き、その理論的意義、汎化における有効性およびモデル自由度の非単調性の原因を明らかにしてきた。今年度は、そうした結果を論文にまとめ、それが出版された。また、統計的回帰とモデル選択に係る書籍も出版した。一方で、この結果は、一般の場合について、デザイン行列を直交展開して、その上でスパース性をもつモデリングに応用することができ、それはリッジ正則化のモデル選択に対応する。そこで、リッジ正則化の観点から、近年注目されているData Augmentationに注目して研究を進めた。一般に、入力にノイズを混入させる方法は正則化と同じ働きをすることが知られており、ノイズ分散が正則化パラメータと対応するため、ノイズ分散を決めることがモデル選択となる。Data Augmentationの立場では、ノイズを混入したデータを追加する（それによって補強する）方法が用いられることがある。画像の問題では、これは、Adversarial Attackを回避するためのロバストな方法を提供するが、汎化性の観点からの研究はなされていない。本研究では、ノイズを入力に加えるData Augmentationを線形回帰に適用する場合の学習について理論的に調べた。その結果、Data Augumentationはスパースな表現を与えない正則化に対応しているが、学習率を増加させるという見かけ上の加速化の効果とリッジ正則化の効果があることを明らかにするとともに、ニューラルネットワークについてもこの性質をもつことを数値例によって確かめた。

在本研究中，我们基于前一年软阈值估计器（正交回归情况下的 LASSO 估计器）的缩放推导了 Bridge 估计器，并研究了其理论意义、泛化有效性和非单调性。模型自由度的原因已经阐明。今年，研究成果被整理成论文发表。他还出版了有关统计回归和模型选择的书籍。另一方面，通过正交扩展一般情况的设计矩阵，该结果可以应用于稀疏建模，这对应于岭正则化的模型选择。因此，从岭正则化的角度出发，我们将研究重点放在了近年来备受关注的数据增强上。一般来说，众所周知，将噪声混合到输入中的方法与正则化具有相同的效果，并且由于噪声方差对应于正则化参数，因此模型选择由噪声方差决定。从数据增强的角度来看，有时会使用添加（从而增强）混有噪声的数据的方法。对于图像问题，这提供了一种鲁棒的方法来避免对抗性攻击，但尚未从普遍性的角度进行研究。在这项研究中，我们从理论上研究了将数据增强（数据增强）应用于线性回归时的学习情况，数据增强会向输入添加噪声。结果，我们发现Data Augmentation支持的正则化不会给出稀疏表示，但它具有增加学习率的明显加速效果以及岭正则化的效果，我们通过数值示例证实网络也具有此属性。 。

项目成果

Bridging between soft and hard thresholding by scaling

通过缩放在软阈值和硬阈值之间架起桥梁

• 发表时间: 2022
• 作者: Katsuyuki Hagiwara

入門 統計的回帰とモデル選択

统计回归和模型选择简介

• 发表时间: 2022
• 作者: 萩原 克幸

Prediction-accuracy improvement of neural network to ferromagnetic multilayers by Gaussian data augmentation and ensemble learning

通过高斯数据增强和集成学习提高神经网络对铁磁多层的预测精度

• DOI: 10.1016/j.commatsci.2023.112032
• 发表时间: 2023
• 影响因子: 3.3
• 作者: Nawa Kenji;Hagiwara Katsuyuki;Nakamura Kohji
• 通讯作者: Nakamura Kohji

Bridging between Soft and Hard Thresholding by Scaling

通过缩放在软阈值和硬阈值之间架起桥梁

• DOI: 10.1587/transinf.2021edp7223
• 发表时间: 2022
• 影响因子: 0.7
• 作者: HAGIWARA Katsuyuki