SVM不定核学习的低秩优化算法

Support vector machine (SVM) is an important research area in machine learning and artificial intelligence, and optimization is the core technology of support vector machine, which occupies a very important position. The project aims to cooperate with Dr. Shao Yuanhai of Hainan University, and to utilize the rich research experiences of Professor Xiu Naihua in optimization from Beijing Jiaotong University, and to jointly study the low-rank optimization theory and algorithms for the SVM indefinite kernel learning under massive data environment. The contents include as follows: (1) Based on the variational properties of rank, establish the optimality theory, dual theory, and exact penalty function theory of the low-rank SVM indefinite kernel model; (2) Design the low-rank projection/Prox algorithms and low-rank Newton algorithms for the model, which are fast and effective; (3) Implement the numerical experiments of the above models and algorithms, and select excellent algorithms to develop the corresponding SVM software. This project not only provides new theories and new methods for SVM, but also provides practical experience for interdisciplinary and integration, and plays an active role in talent training and in-depth cooperation and communication between the two universities.

支持向量机（SVM）是机器学习与人工智能领域中的一个重要研究方向，而最优化是支持向量机的核心技术，占有非常重要的地位。本项目旨在海南大学邵元海博士利用北京交通大学修乃华教授在最优化方面的研究经验，两人结对在北京交通大学共同开展海量复杂数据环境下支持向量机中不定核学习的低秩优化理论与算法研究，具体内容包括：(1)依托秩的变分性质，建立SVM不定核矩阵学习低秩优化原模型的最优性理论、对偶理论、精确罚函数理论。(2)设计求解该模型的低秩投影/Prox算法和低秩牛顿算法、使之具有快速有效性；(3)针对支持向量机中的实际问题进行数值实验，从中选取优秀的算法并开发性能优异的求解器。本项目的实施不仅能为支持向量机提供新理论和新方法，而且也可为学科交叉与融合提供实践经验，对于人才培养以及两校之间的深度合作与交流起到积极推动作用。

目前，机器学习是众多学科领域研究的交叉热点。作为主要机器学习方法的支持向量机的研究也尤为重要。本项目对支持向量机进行了优化的理论和算法研究。依托变分性质，本项目建立了L0/1损失和Ramp损失支持向量机优化原模型的最优性理论；设计了求解该模型的ADMM算法和工作集算法、使之具有快速有效性；针对L0/1损失支持向量机、Ramp损失支持向量机、非平行超平面支持向量机、多核支持向量机，对设计的算法在实际问题进行了数值实验，选取优秀的算法并开发了性能优异的求解器。经过1年的交流访问学习和研究，共发表了4篇与项目相关的研究论文，与修乃华教授共同完成了3篇在线预印的项目重点内容的研究论文。其中，作为本项目的重要结果，L0/1损失和Ramp损失支持向量机优化原模型的最优性理论的建立对支持向量机的推动具有重要意义。L0/1损失支持向量机是最理想的软间隔支持向量机，在近几十年中，由于L0/1损失非凸非连续，人们研究的焦点是做近似的L0/1损失的研究，L0/1损失支持向量机的优化基础始终未建立起来，而本项目对L0/1损失支持向量机的原始问题的最优性理论的建立为求解这类问题提供了理论依据。总之，本项目的完成不仅为支持向量机提供新理论和新方法，而且为学科交叉与融合提供了实践经验，对于人才培养以及两校之间的深度合作与交流起到了积极推动作用。

内容获取失败，请点击重试