New Approaches for large scale classification problems

大规模分类问题的新方法

基本信息

批准号：
16510106
负责人：
YAJIMA Yasutoshi
金额：
$ 2.56万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2004
资助国家：
日本
起止时间：
2004 至 2005
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-16510106/
关键词：
Classification Cutting Planes Supervised learning Kernel matrix Data mining SVM 機械学習

项目摘要

We propose an SVM based feature ranking and selection method. In the proposed procedure, several properties of SVMs with RBF kernel functions are exploited to calculate the vectors lying on the discriminate boundary. We show that these vectors, or their gradient vectors, can be calculated efficiently only by the elementary matrix and vector calculation. The results of numerical experiments on the Reuter-21578 dataset show that the proposed method achieves higher classification performance than that based on LSI and $chi^2$ statistics values.Also, we have introduced semi-supervised learning approaches for partially labeled data points. Our approaches utilize the manifold structure of the given data points, which is characterized as a weighted graph or the associated Laplacian. We show that a number of conventional SVM frameworks such as the 1-norm and 2-norm soft margin formulations and hard margin formulation can be naturally extended to the semi-supervised settings. The resulting formulations are quite simple convex quadratic programming problems. The sparse structure of the graph Laplacian enables us to optimize the problem in a practical amount of computational time even if the number of the variables, i.e., the number of the data points, is very large. Moreover, we show that several existing Laplacian based approaches can be seen as special classes of our framework. The numerical experiments indicate that our approaches perform well on some data sets. Our future plans include experiments on much larger data sets.

我们提出了一种基于SVM的功能排名和选择方法。在建议的过程中，利用具有RBF内核函数的SVM的几种属性来计算位于区分边界上的向量。我们表明，这些向量或它们的梯度向量只能通过基本矩阵和矢量计算有效地计算。路透21578数据集上的数值实验的结果表明，所提出的方法的分类性能比基于LSI和$ CHI^2 $统计值的结果更高。我们还引入了针对部分标记数据点的半监督学习方法。我们的方法利用给定数据点的多种结构，该结构的特征是加权图或相关的拉普拉斯式。我们表明，许多常规的SVM框架，例如1-norm和2-Norm软边距制剂以及硬缘公式，可以自然地扩展到半监督的设置。由此产生的配方是非常简单的凸二次编程问题。图形Laplacian的稀疏结构使我们能够在实用数量的计算时间中优化问题，即使变量的数量（即数据点的数量非常大）。此外，我们表明几种现有的基于拉普拉斯的方法可以看作是我们框架的特殊类别。数值实验表明我们的方法在某些数据集上表现良好。我们的未来计划包括对更大数据集的实验。

项目成果

期刊论文数量（28）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

百貨店における隠れた親近性の発掘

发现百货商店中隐藏的亲和力

DOI：
发表时间：
2005
期刊：
オペレーションズ・リサーチ 50
影响因子：
0
作者：
オウロ;吉原亜弥;矢島安敏
通讯作者：
矢島安敏

Optimization approaches for semi-supervised learning

DOI：
10.1109/icmla.2005.50
发表时间：
2005-12
期刊：
Fourth International Conference on Machine Learning and Applications (ICMLA'05)
影响因子：
0
作者：
Yasutoshi Yajima;T. Hoshiba
通讯作者：
Yasutoshi Yajima;T. Hoshiba

Ranking Selecting Terms for Text Categorization via SVM Discriminate Boundary

通过 SVM 判别边界对文本分类选择术语进行排名