[发明专利]一种基于k-means的高维含噪声数据的分类方法

说明书

本发明涉及一种基于k‑means的高维含噪声数据的分类方法，涉及机器学习领域，利用本方法可以在对存在噪声属性的高维数据进行分类时取得较好的效果。包括以下步骤：首先每次利用已知类别的数据集的部分维度数据来构建多棵k‑means树，然后通过搜索每一棵树来得到待分类数据的预测类别，最后把每一棵树产生的分类结果进行投票，以得到最终的分类结果。本发明相对于一般的分类算法，大大提高了高维噪声数据的分类效果。

技术领域

本发明属于机器学习领域，涉及一种基于k-means的高维含噪声数据的分类方法。

背景技术

当前在许多算法中都涉及到了近邻匹配的问题，尤其是在机器学习和计算机视觉领域中。最常见的如k-nearest neighbor算法，kd-knn算法等，属于有监督学习算法，即在已知类别的样本基础上来预测未知样本所属类别或是分类。然而一般的近邻精确查找算法在数据量较大的时候，特别是高维数据中效果低下，故而人们在实验中常用近似近邻查找算法来代替精确查找，这一般能减少一到两个数量级的时间开销，并且精度损失很小，如the priority search k-means tree算法，就是一种针对处理高维数据的算法。

然而从现实生活中采集的数据里经常存在无用属性，我们称之为噪声属性或特征，比如在对动物图像进行分类时，图像中动物以外的背景像素点就会对分类产生干扰，影响分类结果。一般的近似查找算法在对这类数据进行处理时，会在很大程度上受到噪声特征带来的影响，以至于精度不佳。

发明内容

有鉴于此，本发明的目的在于提供一种解决一般近似近邻算法在处理含噪声的高维数据的分类问题时效果不佳，基于k-means树的高维噪声数据分类方法。

为达到上述目的，本发明提供如下技术方案：

一种基于k-means树的高维噪声数据分类方法，包括步骤：

S1：将已知类别的数据集作为训练集，每次利用训练集的部分维度数据来构建多棵k-means树；

S2：通过搜索每一棵树来得到待分类数据的预测类别；

S3：对每一棵树产生的分类结果进行投票，以此来得到待分类数据的最终预测类别。

进一步，步骤S1中所述数据集包括含噪声属性的高维数据，每次选取训练集的部分数据用于建树时，是对属性进行随机选取，即从数据的所有特征属性中随机选取r个属性，并且每次建树前，都会随机选取属性，故每棵树选取的特征属性都是不同的。

进一步，在步骤S1中，构建k-means树时，根结点设置为空，每次通过k-means算法，把数据聚为N类，然后用这N个类构建N个子节点，再在各个子节点中重复k-means聚类操作，直至点的个数不足N个，就用这些点来创建叶节点。

进一步，步骤S2中，所述搜索每一棵树，包括以下步骤：

S21：假设用作判定类别的近邻点数为k，设置最大查找点数range，即搜索范围；

S22：用一个队列R来存储这range个数据信息，即只要找到range个数据点就停止树搜索，然后从队列R中选离预测点最近的k个点作为近邻点；

S23：从根结点开始，比较Q与根结点的所有分支结点的距离，选择最近的那一支继续向下搜索，同时把另外几个分支结点加入一个队列queue，循环使用这种方法直到遍历到叶子结点；

S24：把叶子结点信息加入R，并判断R中数据个数是否超过range，若已经达到range，则停止搜索；若R中结点数不足range，则把队列queue中的点根据到Q的距离进行排序，然后从距离最小的那个结点开始继续遍历直到叶子结点；

S25：重复以上过程，直到R中存有range个数据。