[发明专利]一种基于密度的参数自适应聚类方法

说明书

本发明公开了一种基于密度的参数自适应聚类方法，涉及数据挖掘技术领域。该方法包括以下步骤：S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据；S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组；S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型；S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。

技术领域

本发明涉及数据挖掘技术领域，特别是涉及一种基于密度的参数自适应聚类方法。

背景技术

随着计算机技术的提高和互联网技术的迅猛发展，各行各业的数据量都发生了翻天覆地的变化。由于在这些海量复杂数据的背后隐藏着很多有价值的规律和信息，大数据挖掘方法在大数据领域就显得尤为重要。

数据挖掘主要结合了人工智能、机器学习、模式学习、统计学等知识，广泛应用于银行、电信、电商等商业领域，并成功帮助企业、用户、商家调整市场政策、减少风险、理性面对市场，并做出正确的决策。利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、偏差分析和Web页挖掘等。而聚类在数据挖掘中是一个非常重要的方法，主要针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。数据之间的相似度很多是根据数据之间的距离来表示的。这种方法在计算速度上虽然有提高，但是只能发现球状的簇，而对于任意形状的簇，不能得到理想的聚类效果。

由于DBSCAN(Density-Based Spatial Clustering of Applications withNoise，具有噪声的基于密度的聚类方法)算法步骤简单和效果突出，该算法受到了广泛的关注和应用研究。然而该算法对输入参数敏感，且利用的是全局参数，对于未知的数据集很难设置合适的参数来达到理性的效果，这就使得聚类的难度大还容易出现聚类错误。

发明内容

本发明的主要目的在于提供一种基于密度的参数自适应聚类方法，旨在解决传统的数据挖掘聚类方法采用全局参数、聚类不准确的问题，提高数据处理技术在对历史数据进行预测时的精确度，既能够对密度差较大的数据集进行抗噪聚类又能准确回归预测。

为实现上述目的，本发明提供一种基于密度的参数自适应聚类方法，包括以下步骤：

S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据；

S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组；

S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型；

S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。

优选地，所述步骤S2还包括：

通过OVDBSCAN(Optimization Initial Points and Variable-parameterDensity-Based Spatial Clustering of Applications with Noise，初试点优化并变参的具有噪声的基于密度的聚类方法)算法对所述训练数据进行聚类，得到所述训练数据的独立的簇和簇中心。

优选地，所述步骤S2还包括：