[发明专利]一种基于χ2统计的连续属性离散化方法

说明书

技术领域

本发明属于数据挖掘领域，涉及到一种基于χ²统计的连续属性离散化方法，涉及基于概率与统计学的Chi2系列算法。

背景技术

现实生活中的数据往往包含连续值的属性，然而目前的归纳和分类算法往往依赖于离散值的属性，给机器学习的研究带来了不便。因此，连续属性离散化在数据挖掘、机器学习和知识发现等领域中起着非常重要的作用，受到了研究人员的关注。离散化的任务是把连续属性的取值范围或取值区间划分为若干个数目不太多的小区间，其中每个小区间对应着一个离散的符号。随着人们对该领域的广泛关注和深入研究，离散化算法已经得到了很大的发展，目前的离散化类型主要分为两个分支：自底向上(bottom-up)和自顶向下(top-down)的数据离散化方法，下面重点介绍自底向上的连续属性离散化方法——基于概率统计学的Chi2系列算法。

1992年，Kerber提出了Chimerge算法[Kerber R.ChiMerge：discretization ofnumeric attributes.Proceedings ninth national conference on artificial intelligence，AAAI Press，1992：123-128]，它是一种局部的、有监督的自下而上的算法。该算法应用统计学原理通过检验χ²分布的显著性水平来判断样相邻区间是否应该合并。但是，Chimerge算法需预先人为设定合适的显著性水平值，因此它并不是一种全自动的离散化算法。1997年Liu等人对此进行了改进，提出了Chi2算法[Liu H.，Setiono R.Feature selection via discretization.IEEE transactions onknowledge and data engineering，1997，9(4)：642-645]。该算法不需要人为预先设定显著性水平，而是采用令显著性水平值逐渐降低的方法，最后通过检验数据集的不一致率来确定是否终止离散化过程。在此基础上，2002年Tay等人对Chi2算法进行了进一步的改进，提出了Modified Chi2算法[Tay E.H.，Shen L.Amodified Chi2 algorithm for discretization.IEEE transactions on knowledge and dataengineering，2002，14(3)：666-670]。该算法根据相邻区间的类别数，确定χ²分布显著性检验的自由度。2005年，Su等人认为Modified Chi2算法中对自由度的考虑仍然不够充分，提出应由代替差异并提出了相应的Extended Chi2算法[Su C.T.，Hsu J.H.An Extended Chi2 algorithm fordiscretization of real value attributes.IEEE transactions on knowledge and dataengineering，2005，17(3)：437-441]。

然而，基于Chi2系列算法仍然存在三点不足：

首先，使用χ²值与给定显著水平下的临界值之差D除以对判定断点重要性缺乏相应的理论依据，同时在计算上也不精确；换句话说，离散化标准没有考虑决策类别数对区间在合并顺序上的影响，对于χ²值来说，它不仅与相临两个区间的自由度有关，同时也与决策类别数有关。

其次，合并标准的变化幅度仍然受自由度不同程度的影响，断点与断点之间存在竞争合并的机会，只是最大差异的断点合并的概率会大一些，所以仅仅以合并最大差异为标准是不合理的。

最后，χ²统计量中E_ij取值也是不精确的。

下面是Chi2离散化相关方法的几个基本概念：

1)区间和断点

连续属性数据每个值为一个断点，两个断点构成一个区间。两个相邻的区间共有一个断点。连续属性离散化实际上就是根据一定的准则，消除断点，合并相邻区间的过程。

2)χ²和

χ²是概率中的统计量，在该离散化算法中需要计算出相临区间的χ²值。χ²的计算方法为：