サポートベクター回帰のハイパーパラメータの新たな推定

支持向量回归超参数的新估计

• 批准号: 22K17860
• 负责人: 牧草 夏実
• 金额: $ 1.5万
• 依托单位: Yokohama City University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17860/
• 关键词: カーネル法; サポートベクター回帰; 漸近理論; 再生核ヒルベルト空間; 機械学習

2022年度は，研究計画における「ハイパーパラメータを含めた推定法の構築」を主課題として研究の実施を行った．特に，推定量が真のパラメータ，すなわち条件付き密度関数に表れているパラメータへ収束する様子が漸近正規性を持つことについて調べるための関連研究の調査を行った．ハイパーパラメータを最適化関数に含めていないサポートベクター回帰においての漸近正規性については，関数デルタ法を用いて示されており，最適化関数と対応する，ある作用素のフレッシェ微分可能性が必要であった．本年度ではこの問題の解決にあたり，ハイパーパラメータを含めた場合の作用素がフレッシェ微分可能であるための条件について調査を行った．関連研究では，作用素のガトゥー微分可能性を調べ，そのガトゥー微分が連続であることを調べることでフレッシェ微分可能性を調べていることが分かった．本研究においては，これらの導出方法と同様にして，作用素のガトゥー微分可能性および連続性について，回帰関数のみではなく，回帰関数に表れるパラメータおよび損失関数に現れるハイパーパラメータも含めた，３つの組において示す必要があり，対応する補題について調べた．また，この3つの組はヒルベルト空間の直和空間の元に対応しており，3つの推定量それぞれの微分可能性と，3つの組の微分可能性についてどのような関連性があるのかどうか，ヒルベルト空間の一般理論も含めて調査する必要性があることが分かった．本研究に関連し1件の学会発表を実施し，１本の論文を投稿した．

2022年，我们进行了研究，研究计划的主题是“构建包含超参数的估计方法”。特别是，我们调查了相关研究，以研究估计器如何收敛到真实参数（即条件密度函数中表示的参数）的渐近正态性。超参数不包含在优化函数中的支持向量回归中的渐近正态性已使用函数 delta 方法进行了证明，该方法需要与优化函数 Ta 相对应的特定算子的 Fréchet 可微分性。为了解决这个问题，今年我们研究了当包含超参数时算子可微的条件。在相关研究中，我们发现Fréchet可微性是通过检查算子的Gatoux可微性并检查其Gatoux微分是否连续来研究的。在本研究中，与这些推导方法相同，我们使用三个集合来研究算子的 Gatoux 可导性和连续性，不仅包括回归函数，还包括回归函数中出现的参数和损失函数中出现的超参数我们研究了相应的引理。另外，这三个集合对应于希尔伯特空间的直和空间的元素，三个估计量的可微性与三个集合的可微性之间有什么关系？我们发现有必要研究一般理论。希尔伯特空间也是如此。提交了与本研究相关的一份学术会议报告和一篇论文。

项目成果

Kernel Method and its Application

核方法及其应用

• 发表时间: 2022
• 作者: Kawashima Takayuki;Fujisawa Hironori;川島孝行;Natsumi Makigusa
• 通讯作者: Natsumi Makigusa