Developments of statistical compression technology for massive data having tensor structures

张量结构海量数据统计压缩技术进展

基本信息

批准号：
22K19769
负责人：
青嶋誠
金额：
$ 4.08万
依托单位：
University of Tsukuba
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2022
资助国家：
日本
起止时间：
2022-06-30 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K19769/
关键词：
データ圧縮深層学習高次元統計解析巨大データ次元の呪い

项目摘要

本研究は、コンピューターの性能に依存した従来の学術の体系と方向を大きく変革・転換させ、巨大テンソル型データを低コストで高速かつ高精度に解析できる統計的圧縮技術を開発する。次の3つの研究目的を遂行した。(1) 巨大データ行列の非スパース性と巨大ノイズの推定論の構築(2) 3階テンソル型データの次元の呪いの解明と解決法の提案(3) 巨大テンソル型データの高速・高精度な統計的圧縮技術の開発(1)について、幾つかのクラスが混在する巨大データ行列において、クラス間の潜在構造の差異を非スパース性で捉え、さらにデータの巨大ノイズの漸近的挙動を確率変動で捉えることで、各クラスがもつ階層構造を高精度に抽出する方法を提案した。(2)について、多重線形主成分分析法を用いて、3階テンソル型データにおける潜在構造推定に一致性が成立するための条件を導出した。この条件から、3階テンソル型データにおいて次元の呪いの主原因となる行列型の巨大ノイズが特定された。(3)について、データの潜在情報の抽出と変数選択を同時に処理できる新たな高次元主成分分析法を考案した。これを巨大テンソル型データに前処理として施すことによって、データサイズの大幅な圧縮が可能となる。本研究の成果について、青嶋は日本数学会に招待され秋季総合分科会で企画特別講演を行った。また、矢田・石井とともに幾つかの国際会議で招待講演を行った。本研究課題に関連するシンポジウムを、対面＋オンライン(Zoom)のハイブリッド形式により、つくば国際会議場で開催した。なお、本研究課題に関連して、矢田は筑波大学Best Faculty Member Awardを受賞し、石井は日本統計学会小川研究奨励賞を受賞した。

这项研究将显着改变和改变依赖计算机性能的传统学术体系和方向，发展出一种能够低成本、高速、高精度分析大型张量型数据的统计压缩技术。开展了以下三个研究目标。（1）海量数据矩阵非稀疏性和海量噪声估计理论的建立（2）三阶张量型数据维数诅咒的阐明及解决方案的提出（3）关于大型张量型数据的高速高精度统计压缩技术的发展（1），在多个类混合的大型数据矩阵中，可以非稀疏地捕获类之间潜在结构的差异，我们提出了一种通过使用随机波动捕获巨大噪声的渐近行为来高精度提取每个类的层次结构的方法。关于（2），我们使用多线性主成分分析来推导三阶张量类型数据中潜在结构估计的一致性条件。基于此条件，识别出矩阵型巨大噪声，这是三阶张量型数据维数灾难的主要原因。关于（3），我们设计了一种新的高维主成分分析方法，可以同时从数据中提取潜在信息并选择变量。通过将其应用于大张量型数据作为预处理，可以显着压缩数据大小。关于这项研究成果，青岛应邀在日本数学会秋季总分委员会进行了计划中的特别演讲。他还与雅达和石井一起在多个国际会议上做特邀报告。与该研究主题相关的研讨会在筑波国际会议中心以面对面和在线（Zoom）的混合形式举行。在该研究项目中，矢田获得了筑波大学最佳教员奖，石井获得了日本统计学会小川研究鼓励奖。