Constructing mathematical foundation in interdisciplinary field of optics and machine learning

构建光学与机器学习跨学科领域的数学基础

• 批准号: 22K19787
• 负责人: 佐藤 一誠
• 金额: $ 4.16万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-06-30 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K19787/
• 关键词: 機械学習; 光学

ランダム射影＋カーネル法の射影部分を光学デバイスで置き換える場合、光学デバイスの性質から、実際には従来のランダム射影＋カーネル法とは異なるアルゴリズムとなるため、その性質は理論的には十分には分かっていない。性質1. １本のレーザーを回折光学素子に通してランダムなパターンを構築することからランダム射影として0/1の疎な２値行列(1の数が少ない)を用いる必要がある。性質2. 入力に対して複数のランダムパターンを切り替えて射影するよりも、１つの(長い)行列をずらしながら入力を射影させて畳み込みを行うほうが高速に計測可能である。これらの性質は、ランダム射影による特徴抽出＋カーネル法の従来研究とは大きく異なり理論解析の観点からも難しい点がある。性質1.により、ランダム射影の従来理論で基礎となる射影行列の劣ガウス性が仮定できない。性質2.により、射影された特徴ベクトルのそれぞれの特徴量は射影行列をずらしながら適用しているので、使われている射影行列に重複部分があるため独立性を仮定できない。本年度では、以下の解析を行った。元の入力同士のL2ノルムでの距離が、射影された特徴ベクトルの空間でのL2ノルムの距離で近似できることを示しているためカーネル法を用いるアルゴリズムでは特に重要な性質である制限等長性 (Restricted isometry property, RIP)の証明を行った。具体的には、制約１に対しては上記のランダム射影による特徴ベクトルがBernstein条件を満たす十分条件を示し、Bernstein不等式を利用することで解決した。制約2に対しては射影されたベクトルの構成要素を独立な要素に分割する際に，２つ入力データの差で表現される特徴ベクトル（入力が画像の場合は差分画像）の自己相関に類似した量によってRIPが成り立つ確率が変動することを示した。

当用光学设备替换随机投影 +内核法的投影部分时，光学设备的属性会导致一种算法实际上与常规的随机投影 +内核方法不同，并且光学设备的属性在理论上未完全理解。属性1。由于一个激光通过衍射光学元件来构造随机模式，因此有必要使用稀疏的0/1二进制矩阵（较少1s）作为随机投影。属性2。通过在移动一个（长）矩阵时投射输入，而不是在输入上投影多个随机模式来投射输入。这些属性与先前对特征提取和使用随机投影的内核方法的研究非常不同，并且从理论分析的角度来看很困难。由于特性1，在传统的随机投影理论中不能假设基础投影矩阵的下高斯性质。由于属性2，在移动投影矩阵时应用了投影特征向量的每个特征，因此不能假定独立性，因为所使用的投影矩阵中存在重叠部分。今年，进行了以下分析：我们已经证明，通过在投影特征矢量的空间中L2规范的距离可以近似L2规范的距离，我们已经证明了使用内核方法的算法的特别重要的特性。具体而言，对于约束1，基于随机投影的上述特征向量表示满足伯恩斯坦条件的足够条件，并且通过使用伯恩斯坦不等式解决了这一点。对于约束2，将投影矢量的组件分为独立元素时，持有RIP的概率取决于与特征向量的自相关的数量（如果输入是图像，则是差异图像，它是差异图像），由两个输入数据之间的差异表示。