Development of Learning Theory based on Information Measure

基于信息测量的学习理论的发展

• 批准号: 19300051
• 负责人: TAKEUCHI Junichi
• 金额: $ 11.9万
• 依托单位: Kyushu University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-19300051/
• 关键词: 学習理論; 情報量; 情報幾何; 機械学習; 確率的コンプレキシティ; ユニバーサルポートフォリオ; 超解像; 通信路容量; Bregmanダイバージェンス; データ圧縮; ユニバーサル符号; 密度比推定; Boosting; 凸2次計画法; 暗号解読; 固有値分布; 一般物体認識

We studied machine learning, information theory, and other related topics from a unified viewpoint of minimum description length principle (MDL principle). In particular, we obtained the new sight on the relation between geometrical structure of tree models and stochastic complexity (SC) and that between communication channel capacity and SC. We also studied ensemble learning and kernel method, and obtained efficient learning method for them. Further, on the basis of the fundamental knowledge obtained in this research, we proposed new learning based methods for incident detection in network security, universal portfolio, super resolution etc., and showed their efficiency.

我们从最小描述长度原理（MDL原理）的统一观点研究了机器学习，信息理论和其他相关主题。特别是，我们获得了有关树型模型几何结构与随机复杂性（SC）之间的关系以及通信通道容量与SC之间的关系的新景象。我们还研究了集合学习和内核方法，并为他们获得了有效的学习方法。此外，根据这项研究中获得的基本知识，我们提出了基于网络安全性，通用投资组合，超级分辨率等的新学习方法，并显示了它们的效率。

项目成果

An Efficient Algorithm for Multi-class Support Vector Machines

• DOI: 10.1109/icacte.2008.48
• 发表时间: 2008-12
• 期刊: 2008 International Conference on Advanced Computer Theory and Engineering
• 作者: Jun Guo;Norikazu Takahashi;Wenxin Hu

ブースティングに関する最近の進展について

近期助推进展

• 发表时间: 2010
• 作者: 川喜田雅則;竹内純一
• 通讯作者: 竹内純一

マルコフモデルの幾何学について

关于马尔可夫模型的几何

• 发表时间: 2009
• 作者: 竹内純一

統計的モデリング/情報理論と学習理論

统计建模/信息论和学习理论

• 发表时间: 2008
• 作者: Konishi;S. and Kitagawa;G.;小西貞則・越智義道・大森裕浩;小西貞則・竹内純一
• 通讯作者: 小西貞則・竹内純一

Quasi-orthogonal multi-carrier CDMA

准正交多载波CDMA

• 发表时间: 2008
• 作者: Y. Jitsumatsu;T. Kohda
• 通讯作者: T. Kohda