[发明专利]一种基于信息增益权重的增量聚类方法及装置

说明书

本发明公开了一种基于信息增益权重的增量聚类方法及装置，具体包括：根据初始数据属性特征信息增益权重计算各个特征的分类贡献率；根据分类贡献率分别计算所述初始数据到初始聚类中心的类内距离，并将类内距离小于距离阈值的类进行迭代合并，得到各类别的聚类中心和最大类内距离；根据分类贡献率分别计算新增数据点到所述聚类中心的距离，确定最小距离和对应聚类中心；当最小距离小于等于对应聚类中心的最大类内距离时，将新增数据点合并至对应聚类中心的类别内，当最小距离大于对应聚类中心的最大类内距离时，确定为单独类别。上述方法利用信息增益权重计算类内距离，并设定类内距离为增量数据归类阈值，提高了增量聚类方法的鲁棒性。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于信息增益权重的增量聚类方法及装置。

背景技术

作为统计学的一个分支，聚类是一种通过观察学习不断调整自身模型的机器学习方法，当前已被广泛应用于网络检测入侵、图像识别等领域。随着大数据时代的来临，为了克服传统聚类算法在大规模数据计算下的局限性，技术人员利用已有的算法模型进行增量改造，提出了增量聚类方法：当有一批聚类结果时，若新增加数据，则只对新增数据进行聚类，并对已有的聚类结果进行增量式修改，无需对新增数据后的整个数据集进行重新聚类。

现有的聚类方法包括利用扩展矢量化方法对新增的数据进行聚类，首先设定一个阈值，当新增数据与现有中心点的最小距离小于这个阈值时，就将其归入到现有类中，否则其作为一个单独的类对象，由于该方法需人为指定阈值，往往鲁棒性较差。

发明内容

针对上述技术问题，本发明提供一种基于信息增益权重的增量聚类方法及装置，通过将各类别的最大半径设定为增量阈值，消除人工设定阈值带来的影响，有效提高方法鲁棒性。

本发明实施例提供一种基于信息增益权重的增量聚类方法，包括：

根据初始数据属性特征的信息增益权重，计算各个特征的分类贡献率；

根据所述分类贡献率分别计算所述初始数据到初始聚类中心的类内距离，并将所述类内距离小于距离阈值的类进行迭代合并，得到聚类结果，所述聚类结果包括各类别的聚类中心和最大类内距离；

根据所述分类贡献率分别计算新增数据点到所述聚类中心的距离，确定最小距离和对应聚类中心；

当所述最小距离小于等于对应聚类中心的最大类内距离时，将所述新增数据点合并至所述对应聚类中心的类别内，当所述最小距离大于对应聚类中心的最大类内距离时，则确定为一个单独类别。

在某一个实施例中，所述初始数据属性特征的信息增益权重根据初始数据的信息熵确定。

在某一个实施例中，所述各个特征的分类贡献率∝_i根据下述公式确定：

其中W(T)为属性特征T的信息增益权重。

在某一个实施例中，所述根据所述分类贡献率分别计算所述初始数据到初始聚类中心的类内距离，具体为：

在某一个实施例中，对初始数据属性的连续值进行离散化处理。

在某一个实施例中，所述距离阈值包括初始数据到初始聚类中心的类内距离中最小的类内距离。

本发明实施例还提供一种基于信息增益权重的增量聚类装置，包括：

第一初始化单元，用于根据初始数据属性特征的信息增益权重，计算各个特征的分类贡献率；

第二初始化单元，用于根据所述分类贡献率分别计算所述初始数据到初始聚类中心的类内距离，并将所述类内距离小于距离阈值的类进行迭代合并，得到聚类结果，所述聚类结果包括各类别的聚类中心和最大类内距离；