一般ダイバージェンスに基づく経験推定を用いた機械学習法

基于一般散度的经验估计的机器学习方法

基本信息

批准号：
19J11776
负责人：
小林真佐大
金额：
$ 1.34万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2021-03-31
项目状态：
已结题

项目摘要

前年度には、関数fの選択に対応しデータ中に含まれる外れ値に対する頑健性や最大歪みの最小化を柔軟に実現する、f分離可能歪み尺度最小化に基づく推定法を考案し、機械学習アルゴリズムへの適用とその統計的性質の調査を行った。当該年度には、この推定法において推定量の一致性の必要条件である推定方程式の不偏性に着目し、解析的計算が困難であるバイアス補正項が消滅する場合について詳細な調査を行った。f分離可能歪み尺度最小化に基づく推定法は、統計モデル、単調増加関数f、ブレグマンダイバージェンスの三つの要素から構成される。しかしながら、どのような場合にバイアス補正項が消滅するのか定かではなかった。推定に用いるブレグマンダイバージェンスがマハラノビス距離もしくは板倉斎藤距離の場合にバイアス補正項が消滅することが明らかになった。このとき、統計モデルにはマハラノビス距離に特徴づけられる楕円分布および板倉斎藤距離に特徴づけられる板倉斎藤分布が対応する。特に、板倉斎藤分布は特別な場合にガンマ分布を含む連続型の確率分布であり、本研究で初めて発見されたものである。関数fの条件は簡素な積分が有界かどうかで表される。この結果を一般化することで、推定に一般のブレグマンダイバージェンスを用いた場合に推定方程式の不偏性が成り立つ条件を議論した。バイアス補正項が消滅した場合を扱っていることから、推定方程式は自動的に正規化されているとみなすことができる。この正規化された推定方程式には、潜在バイアス最小化と呼ばれる、外れ値の割合が大きい場合にその悪影響を任意に小さくできる特性を得られる可能性がある。この観点から潜在バイアス最小化を実現可能な関数fの条件を特徴づけた。上記の内容は国際学会に投稿し、採択された。

去年，我们设计了一种基于 f 可分离失真测度最小化的估计方法，可以灵活地实现对数据中包含的异常值的鲁棒性，并根据函数 f 的选择来最小化最大失真，并开发了一种机械方法，我们将其应用于学习算法并研究其统计特性。本财年，我们重点关注了估计方程的无偏性，这是该估计方法中估计量一致性的必要条件，并对难以计算的偏差修正项的情况进行了详细调查。分析一下，就消失了。基于f可分离失真测度最小化的估计方法由三个要素组成：统计模型、单调递增函数f和Bregman散度。然而，目前尚不清楚在什么情况下偏差校正项会消失。结果表明，当用于估计的布雷格曼散度是马哈拉诺比斯距离或板仓-斋藤距离时，偏差校正项消失。此时，统计模型对应于以马哈拉诺比斯距离为特征的椭圆分布和以板仓-斋藤距离为特征的板仓-斋藤分布。特别是，板仓-斋藤分布是一种连续概率分布，在特殊情况下还包括伽玛分布，并且是在本研究中首次发现的。函数 f 的条件表示为简单积分是否有界。通过推广这个结果，我们讨论了使用一般Bregman散度进行估计时估计方程无偏的条件。由于我们正在处理偏差校正项消失的情况，因此可以认为估计方程被自动归一化。这个归一化估计方程有可能获得一种称为潜在偏差最小化的性质，当异常值比例较大时，可以任意减少异常值的负面影响。从这个角度出发，我们描述了函数f能够实现潜在偏差最小化的条件。以上内容已提交至国际学术会议并被录用。