統計的ダイバージェンスに基づくモデル評価規準の開発と規準に対する評価

基于统计差异的模型评估标准的制定和标准的评估

基本信息

批准号：
20K19753
负责人：
倉田澄人
金额：
$ 2万
依托单位：
Kyushu University (2022)The University of Tokyo (2020-2021)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

現象の全てを事前に知り尽くしていることは基本的に無い以上、絶対的な根拠を持たないモデルを一つ作って運用するのは危険である。そこで複数のモデルを作成し、それを何らかの尺度で比較して相対的に最適な一つを選出するというアプローチが採られる。即ち適切なモデルを作成する為には、適切な選択指標が不可欠となる。モデル選択手法としてはAICやBIC等の情報量規準が有名であり、またLASSOに代表されるスパース正則化の応用も数多くの成果を挙げているが、これらに限らず手法にはそれぞれ特長や弱点があり、特定の一つを常に用いていれば良いというものではない。選択手法を評価する観点の一つとして、外れ値に対する頑健性(ロバスト性)がある。実世界のデータには突発的な外乱や突出した能力、個性、或いは人的ミスやバグ等の様々な由来を持った「外れ値」が頻繁に現れるが、これは「他の観測値から離れた値を取るデータ」の様な曖昧な定義しか与えられないゆえ外れ値とそうでない値の線引きを行うことが難しく、また外れ値の発生を防ぐことは極めて困難である。モデル選択において、多くの従来手法は外れ値が混入している場合に精度がかなり低下してしまう傾向が指摘されている。これは従来手法の多くが外れ値に敏感な残差平方和や尤度、KL divergenceと呼ばれる統計的ダイバージェンスに依拠していることが原因の一つであると考えられる。そこで本研究では、推定の頑健性に優れた統計的ダイバージェンスに基づいて擬似尤度や選択規準を拡張することにより、頑健性を持った選択手法を確立することを試みている。Kurata (2023)によるDBBCは情報量規準を拡張した選択規準であり、極端な外れ値にも耐える手法となっている。また最近では、スパース性・選択の一致性・頑健性を同時に達成する手法構築並びにその理論研究を行っている。

由于基本上不可能提前了解一种现象的一切，因此创建和操作没有绝对基础的模型是危险的。因此，采取一种方法来创建多个模型，在一定范围内比较它们，并选择相对最优的模型。也就是说，为了创建合适的模型，合适的选择指标是必不可少的。 AIC 和 BIC 等信息准则是众所周知的模型选择方法，LASSO 等稀疏正则化的应用已经取得了许多成果，但每种方法都有自己的优点和缺点，有几种方法可以做到这一点。使用特定的一个并不总是一个好主意。评估选择方法的一方面是针对异常值的稳健性。在现实世界的数据中，“离群值”常常由于突然的扰动、突出的能力、个性、人为错误、bug等而出现，离群值与其他值之间很难划清界限，而且要预防也极其困难；异常值的出现。在模型选择方面，有人指出，当异常值混入时，许多传统方法的准确性往往会大幅下降。其原因之一被认为是许多传统方法依赖于残差平方和、似然度和称为 KL 散度的统计散度，这些对异常值很敏感。因此，在本研究中，我们尝试通过扩展伪似然和基于统计散度的选择标准来建立鲁棒选择方法，该方法具有优异的估计鲁棒性。 Kurata（2023）的DBBC是一种扩展了信息标准的选择标准，是一种能够承受极端异常值的方法。最近，我一直在开发一种同时实现稀疏性、选择一致性和鲁棒性的方法，并对该方法进行理论研究。