[发明专利]基于深度学习的不平衡数据的均衡采样及建模方法

说明书

一种基于深度学习的不平衡数据的均衡采样及建模方法：取出数据集中多数类和少数类样本集合，并分别计数；对多数类样集合本进行多次K‑Means聚类，得到R个聚类结果；采用基于关联矩阵的聚类融合算法，将R个聚类结果进行聚类融合，得到新的多数类样集合；对少数类样本集合进行过采样，得到新的少数类样本集合；将得到的新的多数类样集合和新的少数类样本集合相组合，形成类别平衡的新数据集；抽取类别平衡的新数据集的抽象特征，将抽象特征作为一个新的特征加入到类别平衡的新数据集的特征集中，形成新的特征集；采用得到的新的特征集训练DBN模型，得到最优DBN模型。本发明避免了单一处理方法中的缺点，有更好的处理能力，并且有较好的准确率。

技术领域

本发明涉及一种不平衡数据的均衡采样及建模方法。特别是涉及一种基于深度学习的不平衡数据的均衡采样及建模方法。

背景技术

对于数据不平衡问题，目前的研究方向主要分为两种：基于数据层面的数据不平衡方法研究和基于算法层面的数据不平衡方法研究。

数据层面的数据不平衡问题主要采用过采样和欠采样两种方法。过采样是增加少数类样本的数量，使其总数量与多数类样本达到平衡，对应的欠采样则是减少样本的数量，或者从中提取一定的样本，使其数量与少数类达到平衡。

常用的过采样方法是自适应合成采样方法(Adaptive Synthetic SamplingApproach，ADASYN)。该方法可以根据少数类样本的分布情况自适应地合成部分少数类样本，并在易分类处合成较少样本而在难分类处合成更多样本。但是该方法对所有的少数类样本都合成部分新样本，因而新样本分布比较零散，不能集中在类边界区域，并且该方法不能抵抗噪声和孤立样本的干扰。

常用的欠采样方法是压缩最近邻规则(Condensed Nearest Neighbor Rule，CNN)。其思想是从多数类中得到“一致性子集”。方法为：对于多数类样本，随机的选取多个样本与所有多数类样本组合成子集，接着采用k最近邻算法进行训练，得到分类器。使用得到的分类器对多数类样本进行分类，将分类错误的样本重新加入到子集中。CNN算法只能往候选一致集中添加样例，而不能从中删除样例，因此用CNN算法求出的样例子集依然含有冗余的样例。另外，CNN算法对噪声和样例挑选的顺序都非常敏感，挑选出的样例子集未必是最小一致集。

算法层面的数据不平衡问题常用的方法有单类学习、K-Means聚类算法。单类学习是一种注重于识别某一种类别的分类方法。单类学习通过对某一类别的样本数据进行学习，得到能够准确识别某一类别的分类器。单类学习通过样本的特征与目标类别进行相似度对比作为类别划分标准。在不平衡数据集中，通过对少数类进行单类学习，强化分类器对于少数类样本的识别准确率，可以提高分类器对少数类样本的分类性能。但是，由于单类学习专注于少数类样本的学习，导致多数类样本的大量有用信息被遗弃，虽然降低了算法的时间复杂度，但是容易导致欠拟合。

K-Means算法是一种最常用的聚类算法，同时也是一种无监督学习算法。算法默认使用欧几里得距离作为相似度的评价标准。运算结果是将样本划分成k个簇，每一个簇都是由相互距离较近的样本组成。但是单纯使用K-Means算法会暴露其不足之处，比如在K-Means算法中k是事先给定的，这个k值的选定是非常难以估计的。很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。并且，在K-Means算法中，初始聚类中心的选择对聚类结果有较大的影响，一旦初始值选择的不好，可能无法得到有效的聚类结果。

发明内容

本发明所要解决的技术问题是，提供一种基于深度学习的不平衡数据的均衡采样及建模方法，能够有效解决普通分类器在处理不平衡的医疗数据时，对于少数类的分类性能表现较差，从而导致建立的预测模型不准确的问题。

本发明所采用的技术方案是：一种基于深度学习的不平衡数据的均衡采样及建模方法，包括如下步骤：

1)取出数据集中多数类和少数类样本集合，并分别计数；