[发明专利]一种树突神经网络初始化方法

说明书

本发明属于人工神经网络优化领域，具体涉及一种树突神经网络初始化方法，包括对神经元树突的修剪，包括如下步骤：步骤一：使用k‑fold交叉验证方法从数据集中生成训练集D；步骤二：使用二值化方法从训练集D中生成新的数据集T；步骤三：通过ID3或C4.5学习算法生成相应的决策树结构；步骤四：合并叶子节点标记为1的决策树的路径，并修剪叶子节点标记为0的路径；步骤五：根据决策树中标记为1的路径数量确定树突神经网络中dendrite层的数量；步骤六:根据决策树的各个路径构造具有相同分类功能的dendrite层。进一步，还包括基于一位有效编码的分类方法，本发明的初始化方法修剪精度高、收敛速度快、泛化能力好。

技术领域

本发明属于人工神经网络优化领域，具体涉及一种树突神经网络 初始化方法。

背景技术

人工神经网络(ANN)是受自然神经元抑制和触发的电位生成机 制启发而建立的一种操作模型。ANN成功地解决了预测估计领域中 的许多实际问题，例如树突神经网络(DNM)成功用于乳腺癌、肝 病、信用等高精度分类以及金融时间序列，汇率与旅客到达，中国房 价指数的预测，建立树突状神经元模型需要对神经元的树突进行修剪， 以达到信息传输和存储的效果。有人聚焦于过滤级修剪，即根据神经 元的重要性进行剪切，该方法在不改变原有的网络结构上，提高了网 络的性能，具有较强的泛化能力；有人提出了一种修剪人工神经网络 的新方法，利用神经网络的神经复杂度进行度量，在保持学习行为和 适合度的同时，减少过大复杂度的网络，这种修剪方法是对最常用的 基于幅度的修剪方法的重大改进；有人提出了一种径向基函数(RBF) 网络的顺序学习算法，称为RBF网络的广义增长和修剪算法 (GGAP-RBF)，GGAP-RBF神经网络的生长和修剪策略是基于所需的 学习精度与最近增加的新神经元重要性进行的，但是，该方法复杂度 较高，不利于实际应用；也有人提出了一种新的通道剪枝方法来加速 非常深的卷积神经网络，并提出了一种迭代两步算法，通过基于 LASSO回归的通道选择和最小二乘重构来有效地剪枝每一层，进一 步将该算法如果推广到多层、多分支的情况，但该方法会剪切贡献度 高的神经元，使得网络精度下降。

树突神经网络(DNM)是一种仿生学网络，神经元的基本结构包括 树突、轴突、胞体和细胞核。因此，树突神经网络有四层：Synaptic、 Dendritic、Membrane和Soma层。Synaptic层接收输入信号并使用 sigmoid函数将线性信号转换为神经元信号。Dendritic层是对Synaptic 层的输出进行汇聚处理。Membrane层是增强Dendritic层的输出，并 将结果输入到Soma层。Soma层利用另一个Sigmoid函数来给出最 终结果。

参见图1，所示为一个有6层Dendrite和9个输入的DNM网络 结构图。其中，输入x_i的通过Dendritic与Synaptic层连接(四种连接 状态)，Membrane层对Synaptic层的输出进行增强激活并将其转移到 Soma层。

Synaptic层是神经元间信息交互的重要组成部分。该层利用 Sigmoid函数将线性信号转化为神经元信号。根据接收离子引起的电 位变化，Synapses层可分为抑制性Synapses和兴奋性Synapses两种 形式。Synapses层公式如下：

其中，Y_ij代表从第i个输入到第j个Synapses层的输出，范围为 [0，1]。k为连接参数，通常设置为1到10之间的整数。当ω_ij和θ_ij取 不同值时，可对应于四个连接状态，参见图2。四种连接状态描述如 下：

1)常0连接(ω_ij＜0＜θ_ij或0＜ω_ij＜θ_ij)，在该状态下，无论x_i的值 如何，输出Y_ij均为0。