[发明专利]一种利用神经网络实现决策树分类的方法

说明书

神经网络在软件算法和开发中发挥着越来越重要的作用，应用行业也从互联网产业应用拓展至工业生产中。此外，诸如神经网络等机器学习技术也已经开始被应用于高可靠性控制系统中。相较于神经网络技术的广泛应用，目前对神经网络等机器学习技术的理解仍有许多挑战。本发明提出了一种用神经网络实现决策树分类的方法，基于训练数据和分类标签，建立分类神经网络的结构，模拟决策树分类模型的分类过程，并在此基础上进行进一步的训练，以更好的解释机器学习的结果，并提高神经网络实现的准确性和可调试性。

技术领域

本发明涉及机器学习领域，尤其涉及利用神经网络实现决策树分类的方法。

背景技术

神经网络在软件算法和开发中发挥着越来越重要的作用，应用行业也从互联网产业应用拓展至工业生产中，包括汽车软件(如高级驾驶辅助系统(ADAS)和自动驾驶系统(ADS))、质量检测(如基于图像的缺陷检测包括印刷电路板、光伏板等)等。此外，诸如神经网络等机器学习技术也已经开始被应用于高可靠性控制系统中。

相较于神经网络技术的广泛应用，目前对神经网络等机器学习技术的理解仍有许多挑战。与传统编程从规范出发不同，机器学习通过对数据样本的学习来完成建模。以汽车软件开发为例，高级功能(例如ADS等)需要对环境进行感知，并应用机器学习算法。这些高级功能无法规范化准确地描述，需要和数据样本一起完成功能建模。神经网络模型的应用为这些高级功能提供了实现的方法，但是在软件实现和高度的过程中，其准确性会遇到两个关键障碍：缺少规范和不可解释性。

由于类似感知和检测判断等复杂的功能很难明确规范，我们需要使用基于机器学习的方法来实现软件组件，通过从样本进行训练而不是从规范出发通过程序化编程来实现软件组件。包括神经网络在内的所有类型的机器学习模型都包含编码形式的知识，而这些编码通常不具备很好的可解释性。

机器学习模型的广泛应用通常以牺牲可解释性为代价以实现软件的功能。不可解释性使得手动白盒验证方法无法使用，如走查和检验，造成对功能安全保证的障碍。机器学习算法模型的可解释性与其他安全活动，如正式验证或静态分析密切相关。为此，我们需要加强对模型的了解，以更好的解释机器学习的结果，并提高神经网络实现的准确性和可调试性。

发明内容

本发明的目的是：加强对机器学习模型的了解，以更好的解释机器学习的结果，并提高神经网络实现的准确性和可调试性。

为了达到上述目的，本发明的技术方案是提供了一种利用神经网络实现决策树分类的方法，其特征在于，基于训练数据和分类标签，建立决策树神经网络的结构，模拟决策树分类模型的分类过程，并在此基础上进行进一步的训练；将决策树的信息转化为决策树神经网络所需要的全部信息，包括条件矩阵、权重矩阵、树结构矩阵和分类决定，其中，建立决策树神经网络包括以下步骤：

步骤1、建立决策树模型，记录决策树的结点数和相应的决策依据；

步骤2、建立条件矩阵，条件矩阵的每一行与决策树的非叶结点一一对应并记录下相应非叶结点的线性条件：

对应于一个含有2n+1个结点的决策树，条件矩阵为一个n*(m+1)的矩阵，其中，n为决策树的非叶结点数，决策树的n个非叶结点均依据一个线性条件对数据进行分类，m为被分类数据的特征维数；

步骤3、建立权重矩阵：

权重矩阵由两个l*n的矩阵表示，两个l*n的矩阵分别代表了每个非叶结点的左侧和右侧子结点的权重信息，其中n为决策树的非叶结点数，l为分类数据的类别数；

步骤4、建立树结构矩阵：

对应于一个含有2n+1个结点的决策树，树结构矩阵为一个(n+1)*n的矩阵，其中，n个列向量对应于决策树的n个非叶结点，n+1个行向量对应于决策树的n+1个叶结点；树结构矩阵的数值可取值为0、1或-1；