[发明专利]一种基于互信息的混合属性加权离群检测算法

说明书

本发明一种基于互信息的混合属性加权离群检测算法，属于离群检测算法技术领域；所要解决的技术问题为：提供一种基于互信息的混合属性加权离群检测算法的改进；解决上述技术问题采用的技术方案为：包括如下步骤：计算混合属性数据集数值空间和分类空间中各个属性的权值：互信息计算：分别计算混合属性数据集中的离散变量和连续变量的互信息；混合属性加权机制计算：给定一个混合属性数据集，定义任意属性的权值度量为该属性到其他属性互信息的平均值；计算每个数据对象在数值空间中的离群得分；计算每个数据对象在分类空间中的离群得分；综合得到每个混合属性数据对象的最终离群得分，并选出离群得分最高的离群数据对象；本发明应用于离群检测。

技术领域

本发明一种基于互信息的混合属性加权离群检测算法，属于基于互信息的混合属性加权离群检测算法技术领域。

背景技术

离群检测是在数据中发现不符合预期行为的模式，为用户深入分析和理解数据提供支持。离群值在很多情况下隐含着重要的信息。近年来，离群检测被广泛应用于信用卡、保险、医疗等领域的欺诈检测、网络安全的入侵检测、健康系统的故障检测等。但目前大部分离群检测算法针对的是数值型或类单一据。在实际应用中，当面对混合属性数据时，通常采用离散化方法将数值属性转换为分类属性。这些操作都可能带来信息损失，因此会影响检测性能。

通常离群检测算法都要计算数据对象的离群得分。为了计算混合属性数据的离群得分，目前很多文献大都分别计算数据对象值空间和类上的离群得，然后得出混合属性数据的最终离群分。但是数值空间和分类空间离群得分的计算通常采用不同的度量机制，存在量纲不同问题。因此，需要综合计算数值空间和分类空间并归一化，以更适合进行综合对比评价。

许多情况下，分类数据和数值数据作为不同的属性存在于同一个数据集中。这被称为混合属性数据集。在混合属性数据集中，离群点的属性值不管在数值空间还是分类空间中都明显与其他对象不一致。在实际应用中，当面对混合属性数据时，通常将数值Spark集群环境下的分类数据离群检测及应用属性离散化，将所有数据按分类数据处理，使分类离群点检测算法适用于整个数据集。然而，将数值离散化可能会带来噪声或信息损失。不适当的离散化会影响检测性能。

因此，本发明主要解决混合属性数据的离群检测问题，通过互信息对属性间的相关性来对不同类型的属性进行加权计算进分析，提出了基于互信息的混合属性加权离群检测算法。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于互信息的混合属性加权离群检测算法的改进。

为了解决上述技术问题，本发明采用的技术方案为：一种基于互信息的混合属性加权离群检测算法，包括如下步骤：

步骤一：计算混合属性数据集数值空间和分类空间中各个属性的权值：

步骤1.1：互信息计算：分别计算混合属性数据集中的离散变量和连续变量的互信息；

步骤1.2：混合属性加权机制计算：给定一个混合属性数据集，定义任意属性的权值度量为该属性到其他属性互信息的平均值；

步骤二：计算每个数据对象在数值空间中的离群得分；

步骤三：计算每个数据对象在分类空间中的离群得分；

步骤四：通过步骤二和步骤三的离群得分综合得到每个混合属性数据对象的最终离群得分，并选出离群得分最高的离群数据对象。

所述步骤1.1中离散变量的互信息计算如下：

给定一个包含n个数据对象的数据集DS，每个对象都由m个特征表示，用MI(y_i：y_j)表示数据集上计算的特征y_i和y_j之间的互信息，其中互信息的计算公式为：