[发明专利]基于信息熵的连续属性数据无监督离散化方法

摘要

本发明涉及大数据连续属性离散化技术领域，尤其涉及一种基于信息熵的连续属性数据无监督离散化方法。步骤如下：步骤1、遍历任一连续属性的所有取值记录，统计该属性的离散粒度|nj|及各不同取值的概率qji，记录最大值njmax和最小值njmin；步骤2、根据信息熵的计算公式得出任一连续属性nj取值混乱程度的计算公式，根据公式计算该属性的取值混乱程度；步骤3、对取值混乱程度向下取整得到断点数；步骤4、采用等宽区间的方法计算划分的每个区间的宽度，确定每个断点的位置；步骤5、对连续属性nj进行离散化。本发明这种全新的确定断点数的方式，更能适应原数据，各属性离散化互不影响，且不依赖于其他属性，计算效率更高。

主权项

1.一种基于信息熵的连续属性数据无监督离散化方法，其特征在于包括以下步骤：步骤1、属性取值分析：遍历数据集中任一连续属性nj的所有取值记录，统计该属性的离散粒度|nj|并计算各不同取值的概率，记录最大值njmax和最小值njmin；步骤2、计算属性的混乱程度：根据信息熵的计算公式得出数据集中任一连续属性nj取值混乱程度的计算公式，即 T j = Σ i = 1 | n j | - q j i log 2 q j i - - - ( 1 ) , ]]>其中，Tj表示第j个连续属性的混乱程度，|nj|表示第j个连续属性的离散粒度，qji表示该属性第i个取值的概率；根据公式(1)计算该属性的取值混乱程度；步骤3、计算断点数：对取值混乱程度向下取整得到断点数，即其中，NumPj表示第j个属性的断点数；步骤4、确定断点位置：采用等宽区间的方法计算划分的每个区间的宽度，即其中，wj表示每个区间的宽度，表示第j个属性的取值范围，即划分的区间数为NumPj+1；根据公式(4)确定每个断点的位置， DoC j = { P n j min + ( t h * w j ) t h | 1 ≤ t h ≤ NumP j , t h ∈ N * } - - - ( 4 ) , ]]>其中，DoCj为该属性断点的集合，代表每个断点，th表示第几个断点，njmin+(th*wj)表示第th个断点的位置；根据断点位置划分每个区间的范围，各区间范围如下：[njmin，njmin+wj)，[njmin+wj，njmin+2wj)，…[njmin+(NumPj*wj)，njmax]；步骤5、对连续属