[发明专利]数据分类方法以及装置

说明书

本发明公开了一种数据分类方法以及装置，涉及数据分析领域。本发明对于正负样本不平衡的数据中的负样本数据划分为多个次类，进一步，各个次类中的负样本数据与正样本数据进行组合后再分为两类，获得多个分类器以及每个分类器基于分类数据的接近程度的权重，最后，基于权重和各个分类器确定最终分类器，对于正负样本数据越接近的分类器赋予的权重越大，可以在实际分类时不会将少数样本作为多数样本的离群点被划分至多数样本的分类中去。本发明的方法不会减少或增加样本数据，不会造成样本数据重要信息的丢失，也不会导致过拟合，并且分类过程中考虑了负样本数据的特征，以及各个分类器的分类效果，能够有效的改善样本数据整体的分类效果。

技术领域

本发明涉及数据分析领域，特别涉及一种数据分类方法以及装置。

背景技术

现实中许多问题上我们能获取的正负样本数据是不平衡的，如质量检测机每天检测的产品中次品率是远远低于合格率的；居民癌症普查中患有癌症的居民人数是远远少于健康人群，通常情况下，这类少数样本对于数据特征的研究的意义更大被称作正样本数据，而占多数的样本数据被称为负样本数据。

传统的分类算法通过最小化损失函数降低错误率，算法中没有考虑到数据分布情况，往往偏向于多数类。在最坏的情况下，少数类的例子会被视为多数类的离群值而被忽略。

现有处理正负样本数据不平衡的方法，以欠采样法和过采样法为主，通过减少大类的数据或者增加小类的数据以达到数据集平衡，但是欠采样法删去不少数据会使得大类损失不少重要信息，而过采样法增加小类重复样本容易导致过拟合且增加了计算时间和存储开销。这两种方法对于正负样本不平衡的数据进行分类的效果不好。

发明内容

本发明所要实现的一个目的是：提出一种数据分类的方法，改善对于正负样本不平衡的数据进行分类的效果。

根据本发明的一个方面，提供的一种数据分类方法，包括：将样本数据划分为正样本数据和负样本数据，其中，负样本数据和正样本数据的数量的比值大于阈值；根据负样本数据的各个数据点之间的相似性将负样本数据划分为多个次类；将每个次类的负样本数据与正样本数据合并作为一组训练数据，得到多组训练数据；对每组训练数据利用支持向量机进行训练，获得一个分类器以及该分类器划分的两类数据的接近程度；根据每个分类器划分的两类数据的接近程度确定每个分类器的权重，其中，分类器划分的两类数据的接近程度越小则该分类器的权重越大；根据各个分类器以及各个分类器的权重确定最终分类器，利用最终分类器对待测数据进行分类。

在一个实施例中，根据负样本数据的各个数据点之间的相似性将负样本数据划分为多个次类包括：根据负样本数据和正样本数据的数量的比值，确定负样本数据划分的次类的数量；利用聚类分析算法根据负样本数据的各个数据点之间的相似性将负样本数据划分为确定的数量的次类。

在一个实施例中，分类器为利用支持向量机训练获得的最优分割平面表示；每个分类器划分的两类数据的接近程度为该分类器的最大分割间距。

在一个实施例中，根据各个分类器以及各个分类器的权重确定最终分类器包括：根据各个分类器的权重将各个分类器的最优分割平面表示进行加权求和计算，获得最终分类器的最优分割平面表示。

在一个实施例中，分类器的权重为该分类器的最大分割间距的倒数。