[发明专利]一种解决大数据聚类的基于视觉原理的聚类方法

说明书

本发明公开了一种解决大数据聚类的基于视觉原理的聚类方法，通过对原有数据进行给定精度的无损多尺度编码，实现数据的多尺度、多维度的网格化存储，基于各尺度编码判断编码和邻域编码的相似度，利用连通性分析，实现多尺度的聚类，提供多尺度的聚类结果。在数据编码过程中，利用了视觉原理，该原理符合韦伯定律，即感觉的差别阈限随原刺激量的变化而变化。

技术领域

本发明属于大数据聚类领域，具体涉及一种解决大数据聚类的基于视觉原理的聚类方法。

背景技术

聚类是依据数据的某种相似性(如结构或趋势)将数据划分为不同组别的知识发现方法。衡量数据间的相似度是聚类的基础，通常各个点之间的相似度以矩阵形式存储，对于大规模或是分布式数据此方式将导致数据传输量巨大，计算效率缓慢，甚至由于矩阵巨大无法存储的问题。

导致这些问题产生的原因是由于相似度以稠密矩阵的方式存储，数据量以原数据体量的平方速度增加。

目前已有的大数据聚类算法有以下两种：

以kmeans为代表的给定类个数的划分型聚类方法：该类方法在给定类数的前提下，衡量各个点与各类中心的相似度，判定点的归属，并迭代计算各个类中心。此种方法计算复杂度为线性，适合在大数据情形使用，但需要事先明确总体类数，同时各个类的数据分布需要满足球形分布，而且算法的稳定性与起始点的选取紧密相关。因此，虽然该类算法在大部分大数据平台上已经实现(Spark和petuum)，但很难满足大数据聚类的需要。

另一类是DBSCAN基于密度的聚类方法：该方法通过衡量各个点在给定范围的点密度，确定点和给定范围内的点的连接关系，实现相同类内的元素相连接。此种方法适合在图模型中实现，可以实现任意形状的类的识别，但方法需要人为设定合适范围和密度的阈值，才能得到较好的聚类结果。这点在大数据和分布式情形下很难得到满足，因此该方法也很难满足聚类的需要。

聚类问题是人工智能、机器学习的等信息处理方法的基础，已有很多优秀的聚类算法，但在大数据计算环境下很难实现，而已有的大数据聚类方法却难以满足使用需要。

发明内容

本发明的目的在于克服聚类算法中相似度矩阵的生成和存储问题，提供一种解决大数据聚类的基于视觉原理的聚类方法，该方法通过对原有数据进行给定精度的无损多尺度编码，实现数据的多尺度、多维度的网格化存储，基于各尺度编码判断编码和邻域编码的相似度，利用连通性分析，实现多尺度的聚类，提供多尺度的聚类结果。在数据编码过程中，利用了视觉原理，该原理符合韦伯定律，即感觉的差别阈限随原刺激量的变化而变化。

为了达到上述目的，本发明包括以下步骤：

步骤一，确定编码精度：根据不同应用场景，设定不同的编码精度ε，ε的大小显示了编码与原始数据之间的误差；

步骤二，确定编码位数与最小尺度，最大尺度：由编码精度ε计算出编码的最大尺度σmax与最小尺度σ0，同时可以得到编码的长度L；

步骤三，原数据编码：将原数据集以编码精度ε进行编码，除返回聚类结果步外，之后的计算步骤将都在编码上进行；

步骤四，单尺度聚类分析：包括四个部分，编码集的截断操作、相邻编码查找、连通性分析和聚类结果解码；

第五步，增加尺度数，σ＝σ+1，重复步骤四操作，直到最大尺度σ_max。

所述步骤二中，d维的原始数据集χ中的任意元素χ∈P^δ，对于x的每一维x^(t)∈[a^t,b^t],t∈[1,d]，最大尺度σ_max满足

最小尺度σ₀通常为1，编码的位数L＝σ_max×d。