非確率モデルを用いた統計的推定の枠組みの構築とヘテロな構造を持つデータへの応用

非概率模型统计估计框架的构建及其在异构结构数据中的应用

基本信息

批准号：
20K03753
负责人：
竹之内高志
金额：
$ 2.83万
依托单位：
National Graduate Institute for Policy Studies (2021-2022)Future University-Hakodate (2020)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

不均衡分類問題について : 分類問題においてはしばしばクラス間のサンプルサイズ比が著しく偏ってしまう.このような状況においては, 少数の例題しか得られないクラス(例えば正のラベルを持つクラス)の情報を得ることが難しいため, 全体の性能(特に正のクラスを判別する性能)の低下が問題となる. 一方, 実際のデータには, 負とラベル付けされているが, ラベル以外の情報は正ラベルを持つ例題を近く, 正とラベル付されてもおかしくないような例題, 「ニアミス例題」が豊富に含まれている場合がある. 例えば, 洪水のような自然災害を検出する問題が挙げられる.洪水は稀なイベントでありデータセットにはほとんど含まれていないが, 川の水位を観測すると, 「実際には洪水が起こらなかったが水位は堤防高さに近づいた」, というような例題はデータセットに複数含まれている場合がある. 本研究では, このようなニアミス例題に含まれる情報を学習に利用する手法を提案し, ニアミス例題がある程度存在すれば推定量の分散を減少させることが可能であることを示した.相互情報量を用いた表現学習と外れ値ノイズに対するロバスト化: 対照学習を用いた教師なし表現学習法を扱った. 本研究では, 確率モデルを個別に推定せずに, 確率モデルと事前に設定したノイズ分布の比(密度比)を直接推定することで対照学習を行うことを考えている. 対照学習と相互情報量の最大化との関連性を調べ, ある条件下では密度比の推定が相互情報量の最大化に必要かつ十分であることを示した. また, 対照学習の実用的な手法の多くは最尤推定に基づくものであり, 外れ値ノイズの混入に弱いことが知られている. 外れ値ノイズに対する頑健性を獲得するため, ガンマ-ダイバージェンスを用いた密度比推定を考案し, 手法の頑健性を理論的に保証した.

关于不平衡分类问题：在分类问题中，类之间的样本量比例往往存在显着偏差，因为很难获得，导致整体性能（尤其是区分正类的性能）恶化。，虽然实际数据被标记为负数，但标签以外的信息被标记为正数。在某些情况下，有许多问题的例子很容易被标记为正确的，或者“差点发生的例子”。例如，存在检测洪水等自然灾害的问题，尽管洪水是罕见的事件。数据集包含的示例并不多，该数据集包含多个示例，例如“观察河流水位时，实际上没有发生洪水，但水位接近堤坝高度。”在本研究中，我们提出了一种使用此类未遂示例中包含的信息进行学习的方法，并表明如果存在一定数量的未遂示例，则可以使用互信息学习和鲁棒性来减少估计量的方差。对抗异常噪声：我们使用对比学习来处理无监督表示学习方法。我们正在考虑通过直接估计概率模型与预设噪声分布之间的比率（密度比）来进行对比学习我们将研究对比学习与最大化互信息之间的关系，并研究对比学习与最大化互信息之间的关系。某些条件表明，估计密度比对于最大化互信息是必要且充分的。此外，大多数实用的对比学习方法都是基于最大似然估计，但众所周知，由于包含异常噪声，这是很难避免的。变得软弱。为了获得对异常噪声的鲁棒性，我们设计了使用伽玛散度的密度比估计，并从理论上保证了该方法的鲁棒性。