Statistical mechanical approach to matrix and tensor estimation

矩阵和张量估计的统计机械方法

• 批准号: 22KJ1074
• 负责人: 岡島 光希
• 金额: $ 1.6万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1074/
• 关键词: レプリカ法; 平均場近似; スパース推定; 圧縮センシング; 高次元統計; 統計力学

本研究課題の目標はデータ構造に即したスパース性に注目した推論の統計力学的解析及びアルゴリズム開発である．特に，本年度はレプリカ法と呼ばれる，ランダムに特徴づけられた機械学習や最適化問題の理論解析に用いられる統計力学的手法の適用範囲の拡張を試みた．一般に，レプリカ法は観測数，説明変数及び真の信号の非零要素の数が全て同じレートで発散する極限において，中心極限定理を適用することで漸近的な理論予測を精密に与えることが知られている．一方，実問題にて現れるデータは観測数によらず低次元の多様体上に分布していると示唆されているように，真の信号の非零要素も観測数に依存せず極少数であると想定する方が現実に即している場合がある．これらの問題設定を既存の統計力学的解析で扱うことは困難である．本年度は，このような極スパース条件下における代表的な推定手法であるL1正則化付き線型回帰を対象として，上記の問題を念頭においた解析を試みた．具体的には，真の信号の少数の非ゼロ成分を個別にミクロな量として扱い，残りの部分についてレプリカ法を用いて平均場的扱いをすることで，L1正則化による特徴量選択の性能などを精密に予測できることがわかった．また，この解析の結果から真の信号の非零要素の位置の推定に対応する，サポート復元のための条件を導くことができた．これらの結果は人工知能及び統計学に関する国際会議 International Conference on Artificial Intelligence and Statistics (AISTATS) にて発表された．

该研究项目的目标是基于数据结构的稀疏性推理和算法开发的统计机械分析。特别是，今年我们尝试扩大称为复制方法的统计力学方法的应用范围，该方法用于随机特征机器学习和优化问题的理论分析。一般来说，众所周知，复制方法通过在极限中应用中心极限定理来提供准确的渐近理论预测，其中观测值的数量、解释变量和真实信号的非零元素的数量都以相同的速率发散。它正在被完成。另一方面，正如人们认为实际问题中出现的数据分布在低维流形上而与观测数量无关一样，真实信号的非零元素也不取决于观测数量在某些情况下，假设存在更为现实。使用现有的统计力学分析很难处理这些问题设置。考虑到上述问题，今年我们尝试用L1正则化来分析线性回归，这是一种典型的极其稀疏条件下的估计方法。具体来说，通过将真实信号的少量非零分量单独视为微观量，并使用复制方法将剩余部分视为平均场，我们可以使用 L1 正则化来提高特征选择的性能。可以准确地预测以下情况。此外，根据该分析的结果，我们能够推导出与真实信号的非零元素的位置估计相对应的支持恢复条件。这些结果已在国际人工智能与统计会议（AISTATS）上公布。

项目成果

Average case analysis of Lasso under ultra-sparse conditions

超稀疏条件下Lasso的平均情况分析

• 发表时间: 2023
• 作者: Koki Okajima; Xiangming Meng; Takashi Takahashi; Yoshiyuki Kabashima
• 通讯作者: Yoshiyuki Kabashima

極スパース条件におけるLassoによるサポート復元条件

支持极其稀疏条件下使用Lasso的恢复条件

• 发表时间: 2023
• 作者: 岡島光希; Xiangming Meng; 髙橋昂; 樺島祥介
• 通讯作者: 樺島祥介

極スパース状況下におけるLasso回帰の統計力学的解析

极稀疏条件下Lasso回归的统计力学分析

• 发表时间: 2022
• 作者: 岡島光希; Xiangming Meng; 髙橋昂; 樺島祥介
• 通讯作者: 樺島祥介