[发明专利]大数据分类方法及系统

说明书

本申请公开了一种大数据分类方法及系统，其包括如下步骤：对目标数据进行降维处理获得初步降维后大数据,根据级别获得超像素总数，采用超像素分割算法对该初步降维后大数据进行分割，获得多个区域数据,对每个所述区域数据进行降维处理获得降维后区域数据,对所有的所述降维后区域数据进行组合，获得分割后数据并对其进行融合处理，获得有效降维后大数据,采用聚类算法对有效降维后大数据进行聚类处理获得聚类后大数据，聚类后大数据的各个数据集合为分类结果数据。本方法考虑了数据集不同均匀区域的多样性，有效解决了传统PCA对大数据各个区域的不同性欠缺考虑、难以获得较高分类精度的问题，在大数据上实现了精度与速度兼备的分类效果。

技术领域

本发明涉及数据挖掘和数据处理技术领域，尤其涉及一种大数据的分类方法及系统。

背景技术

图像和视频等维数大的数据称为高维数据，海量高维数据和/或其他数据可以称为大数据，由于大数据固有的一些特性使得对大数据进行分析和处理变得困难。而随着云计算的发展和应用，加上近年来互联网、移动互联网、物联网等行业发展迅速，在线视频、社交网络、云存储，电子商务和视频监控等应用迅速崛起，这些互联网和移动终端的应用导致各类数据量都在大量增长，特别是图像、视频等大数据的种类和数量都在呈指数增长。寻求精确且高效的分类方法，去合理利用、有效处理和高效检索这些大数据中的各类数据成为众多领域所面临的一个重大问题。由于数据量的增多，数据需要提取的特征就越来越多，于是数据的维度就越来越大，这就导致了维数灾难的发生。

一般来说，传统的聚类方法进行聚类依赖于相似性度量和概率，这些方法在低维空间中非常有效，但是在高维空间中传统的聚类方法往往得不到有意义的簇。由此可见，采用传统方案对大数据进行聚类以实现各类数据分类存在准确性低的问题。

发明内容

本申请要解决的技术问题是提供一种分类效果好、速度快的大数据分类方法。

本申请提供了一种大数据分类方法，其包括如下步骤：

步骤一：对目标数据进行降维处理获得初步降维后大数据，所述目标数据为待分类的多维数据；

步骤二：根据预设的级别获得超像素总数；

步骤三：根据所述超像素总数，采用超像素分割算法对该初步降维后大数据进行分割，获得多个区域数据；

步骤四：对每个所述区域数据进行降维处理获得降维后区域数据；

步骤五：对所有的所述降维后区域数据进行组合，获得分割后数据；

步骤六：对所述分割后数据进行融合处理，获得有效降维后大数据；

步骤七：采用聚类算法对所述有效降维后大数据进行聚类处理获得聚类后大数据，该聚类后大数据中的各个数据集合为所述目标数据分类后的结果数据。

在其中一个实施例中，所述步骤三包括如下步骤：

提取所述初步降维后大数据的第一主成分数据；

采用超像素分割算法对该第一主成分数据进行分割，获得超像素，该超像素的数量与所述超像素总数相同；

将所述超像素映射到所述初步降维后大数据中，获得多个区域数据。

在其中一个实施例中，所述根据预设的级别获得超像素总数的方法为：其中S_f为设定的初始超像素数量，c为所述预设的级别，S为超像素总数。

在其中一个实施例中，所述步骤六包括如下步骤：

确定融合对象序列，将所述分割后数据设为该融合对象序列中的融合对象；

获得类标签序列；

从融合对象序列中获得数据点集合；