[发明专利]一种利用神经网络实现决策树分类的方法

权利要求书

1.一种利用神经网络实现决策树分类的方法，其特征在于，基于训练数据和分类标签，建立决策树神经网络的结构，模拟决策树分类模型的分类过程，并在此基础上进行进一步的训练；将决策树的信息转化为决策树神经网络所需要的全部信息，包括条件矩阵、权重矩阵、树结构矩阵和分类决定，其中，建立决策树神经网络包括以下步骤：

步骤1、建立决策树模型，记录决策树的结点数和相应的决策依据；

步骤2、建立条件矩阵，条件矩阵的每一行与决策树的非叶结点一一对应并记录下相应非叶结点的线性条件：

对应于一个含有2n+1个结点的决策树，条件矩阵为一个n*(m+1)的矩阵，其中，n为决策树的非叶结点数，决策树的n个非叶结点均依据一个线性条件对数据进行分类，m为被分类数据的特征维数；

步骤3、建立权重矩阵：

权重矩阵由两个l*n的矩阵表示，两个l*n的矩阵分别代表了每个非叶结点的左侧和右侧子结点的权重信息，其中n为决策树的非叶结点数，l为分类数据的类别数；

步骤4、建立树结构矩阵：

对应于一个含有2n+1个结点的决策树，树结构矩阵为一个(n+1)*n的矩阵，其中，n个列向量对应于决策树的n个非叶结点，n+1个行向量对应于决策树的n+1个叶结点；树结构矩阵的数值可取值为0、1或-1；

对于每个列向量，树结构矩阵的数值表示了该列向量对应的非叶结点与所有叶结点之间的关系：数值1表示相应叶结点在该非叶结点的右侧；数值-1表示相应叶结点在该非叶结点的左侧；数值0表示相应叶结点不是该非叶结点的后代；

对于每个行向量，树结构矩阵的数值表示了从根结点到该行向量对应的叶结点的路径，数值1表示在相应结点向右，数值-1表示在相应结点向左，数值0表示从要结点到叶结点的路径不经过相应结点；

步骤5、构造决策树神经网络：

决策树神经网络是一个两层的神经网络：第一层神经网络的参数为条件矩阵，第二层神经网络的参数为一个三维矩阵，由权重矩阵和树结构矩阵构造；决策树神经网络的激活函数选择符号函数sign或sigmoid函数：若激活函数选取为符号函数sign，则决策树神经网络的分类结果与决策树的结果完全一致；若激活函数选取为sigmoid函数，则决策树神经网络的分类结果与决策树基本一致，其分类边缘较决策树更为平滑，并可以在已有的模型参数基础上进行进一步的训练。

2.如权利要求1所述的一种利用神经网络实现决策树分类的方法，其特征在于，步骤1中，一个决策树含有2n+1个结点，其中n个非叶结点对应于决策条件，n+1个叶结点对应于分类决策。

3.如权利要求1所述的一种利用神经网络实现决策树分类的方法，其特征在于，步骤2中，n*(m+1)的矩阵中(m+1)维的行向量为m维输入数据的系数和截距项。

4.如权利要求1所述的一种利用神经网络实现决策树分类的方法，其特征在于，步骤3中，权重矩阵可以进一步表示为子结点类别矩阵和权重级别的乘积。

5.如权利要求4所述的一种利用神经网络实现决策树分类的方法，其特征在于，子结点类别矩阵由两个l*n的0-1矩阵表示，其中n为决策树的非叶结点树，l分类数据的类别树，两个l*n的0-1矩阵分别代表了每个非叶结点的左侧和右侧子结点的类别信息，分别定义为左侧子结点类别矩阵及右侧子结点类别矩阵，其中：

l*n的左侧子结点类别矩阵的n个列向量对应于决策树的n个非叶结点，列向量的维数对应于数据的分类，以0-1布尔值的方式表示左侧结点是否包含相应分类的数据；

l*n的右侧子结点类别矩阵的n个列向量对应于决策树的n个非叶结点，列向量的维数对应于数据的分类，以0-1布尔值的方式表示右侧结点是否包含相应分类的数据。

6.如权利要求5所述的一种利用神经网络实现决策树分类的方法，其特征在于，以n维数组表示相应非叶结点的权重，作为子结点类别矩阵的补充，一起表示权重矩阵；非叶结点的权重为2^-n，其中n为结点到根结点的距离，所以根结点的权重为1，其子结点的权重以2的幂次成倍递减。