Generative manifold modeling of set of datasets based on optimal transport distance

基于最佳传输距离的数据集生成流形建模

基本信息

批准号：
21K12061
负责人：
古川徹生
金额：
$ 2.58万
依托单位：
Kyushu Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本年度は以下の４点について実施した．第一に，データ分布を多様体を用いた確率モデルで表す多様体モデリングにおいて，KLダイバージェンスの順方向評価と逆方向評価を交互に行うことで最適輸送距離の近似計算とみなすことができること，そして従来の自己組織化マップをはじめとする学習手法が最適輸送距離最小化問題として帰着できることを示した．またこの枠組みにより多様体モデル集合のメタモデリングが一貫した枠組みで解けることを示し，多様体間のアライメント問題も解決できることを示した．第二に，最適輸送距離に基づく多様体メタモデリングの応用として，ダイナミカルシステム集合のメタモデリングに取り組んだ．これはベクトル場間の最適輸送距離と，軌道間の最適輸送距離の双方を組み込んだものである．開発手法を多様な身体サイズと多様な歩行パターンのデータに適用し，検証を行っている．第三に，スコアマッチングを用いることでそれぞれのデータ集合が正規化が困難な指数型分布族として表現される場合の多様体モデリングのアルゴリズム開発をおこなった．これにより下位のモデル集合がガウス分布や多値分布のような標準的な分布だけでなく，無限次元の指数型分布族や事前学習済みのニューラルネットワークを十分統計量とする指数型分布族なども統一的に扱うことができるため，より複雑な分布から生成されたデータ集合の集合に対する多様体モデリングが可能となった．また，開発したアルゴリズムは個々のデータ集合が少数の場合であっても精度良く推定でき，分布推定の教師なしマルチタスク学習が可能なことも明らかにした．第四に，最適輸送距離最小化に基づく多様体モデリングの高速な計算法の開発を行った．これにより，データサイズに対して，スケーラブルな計算法を開発することができた．

今年，我们落实了以下四点。首先，在使用流形通过概率模型表示数据分布的流形建模中，交替执行KL散度的前向和后向评估可以被视为最佳传输距离的近似计算，我们证明了包括传统自学习方法。 -组织地图可以简化为最优运输距离最小化问题。我们还表明，该框架允许我们在一致的框架中解决流形模型集的元建模，并且还可以解决流形之间的对齐问题。其次，我们研究了动力系统组的元建模，作为基于最佳传输距离的流形元建模的应用。这结合了矢量场之间的最佳传输距离和轨迹之间的最佳传输距离。所开发的方法已应用于各种体型和各种步行模式的数据并得到验证。第三，通过使用分数匹配，我们开发了一种流形建模算法，当每个数据集表示为难以标准化的指数分布族时。这使得较低层的模型集不仅可以应用于高斯分布和多级分布等标准分布，还可以应用于无限维指数分布族和其统计数据是预先训练的神经网络的指数分布族。通过以统一的方式处理，可以对从更复杂的分布生成的数据集集合执行流形建模。我们还证明，即使单个数据集很小，所开发的算法也可以准确估计，并且可以进行分布估计的无监督多任务学习。第四，我们开发了一种基于最优传输距离最小化的流形建模的高速计算方法。因此，我们能够开发出一种可根据数据大小进行扩展的计算方法。