[发明专利]一种基于密度聚类的数据清洗方法及装置

说明书

本发明提供一种基于密度聚类的数据清洗方法及装置，能够提高清洗结果的准确率。所述方法包括：获取待清洗的数据集，其中，所述数据集中样本的属性值包括：数值型数据和字符型数据；对数值型数据和字符型数据分别采用标准化的欧式距离和基于编辑距离的字符串相似度算法，确定数据集中样本间的距离；根据确定的数据集中样本间的距离，对DBSCAN算法的eps和minPts进行估计；将估计的eps和minPts值作为DBSCAN参数值，对待清洗的数据集进行密度聚类；根据聚类结果，对待清洗的数据集中的数据进行清洗。本发明涉及数据挖掘领域。

技术领域

本发明涉及数据挖掘领域，特别是指一种基于密度聚类的数据清洗方法及装置。

背景技术

目前已经进入了信息爆炸的时代，数据已经成为推动行业发展的重要动力。数据中隐藏的巨大的财富，企业可以从中获取大量有用信息，从商务管理，市场分析，科学探索等各个方面为企业的发展决策提供支持，促进自身企业的发展。然而现实中的数据往往是错综复杂的，不同结构的数据，以及数据中存在不同类型的脏数据，如错误数据，无效数据和缺失重复数据等，都极大地加大了数据分析的难度。

机器学习方法已经广泛应用到数据清洗领域，机器学习方法的核心目的是对数据集进行聚类。聚类分析又称群分析，是一种研究样本分类的统计学方法。聚类的目的是使同一类对象之间的相似度尽可能大，不同类对象之间的相似度尽可能小。具有噪声的基于密度的聚类(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)算法是一种经典的聚类算法，DBSCAN最终的聚类结果非常依赖eps和minPts参数值的选择，如果eps和minPts参数值选取不当，将导致聚类结果较差，甚至出现错误聚类，其中，eps表示扫描半径，minPts表示最小包含点数，

现有技术中，一般是由人工根据经验设置DBSCAN算法的参数eps和minPts，导致聚类结果准确性低。

发明内容

本发明要解决的技术问题是提供一种基于密度聚类的数据清洗方法及装置，以解决现有技术所存在的由人工根据经验设置DBSCAN算法的参数eps和minPts，导致聚类结果准确性低的问题。

为解决上述技术问题，本发明实施例提供一种基于密度聚类的数据清洗方法，包括：

获取待清洗的数据集，其中，所述数据集中样本的属性值包括：数值型数据和字符型数据；

对数值型数据和字符型数据分别采用标准化的欧式距离和基于编辑距离的字符串相似度算法，确定数据集中样本间的距离；

根据确定的数据集中样本间的距离，对DBSCAN算法的eps和minPts进行估计，其中，eps表示扫描半径，minPts表示最小包含点数，DBSCAN表示具有噪声的基于密度的聚类；

将估计的eps和minPts值作为DBSCAN参数值，对待清洗的数据集进行密度聚类；

根据聚类结果，对待清洗的数据集中的数据进行清洗。

进一步地，样本间的距离表示为：