[发明专利]一种部分连接多层感知器的图形化设计与实现方法

说明书

本发明公开了一种部分连接多层感知器的图形化设计与实现方法，选择需要训练的数据集，对数据集数据预处理符合网络训练的需要；根据用户画出的网络图形生成对应的数据结构，并检查网络的连接方式是否合法；对网络图结构拓扑排序，根据线性序列执行网络的前向计算，计算出神经元上的输出值x；根据拓扑排序得到的线性序列反向执行网络的反向计算，计算出神经元上的误差值δ；遍历网络中的有向边，计算梯度更新有向边上的权重值w；本发明可以用来训练部分连接的多层感知器，并且通过图形化方法生成网络，无需通过编程生成网络。

技术领域

本发明涉及一种部分连接多层感知器的图形化设计以及实现方法，属于模式识别领域。本发明可以用来训练各种连接比例的多层感知器，并且通过图形化方法生成人工神经网络而不是传统的编程实现。

背景技术

作为一种实现人工智能的技术，人工神经网络已经在图像识别、语音识别、自然语言处理等多个领域取得了突破性的成果，而且受到了非常高的关注。多层感知器曾是相当流行的机器学习算法，拥有广泛的应用场景。近年，由于深度学习的成功，多层感知器又重新得到了关注。

多层感知器是一种由有多层节点的有向图构成的前馈神经网络，其中每一个非输入节点都是具有非线性激活函数的神经元，每一层与下一层是全连接的。多层感知器的一个优点是它可以被训练。训练多层感知器的过程其实就是数学上的最优化，目标是找到一组最佳的权重来最大限度的减少预测值与实际值的误差。

给定一个训练样本用(x,y)表示，首先计算每个神经元上的激活值，直到最后一层。在最后一层计算完毕后，计算得到实际值与预测值的误差。再根据得到的误差反向计算每一个层上的每一个神经元上的误差δ值，该值可以理解为该神经元对于总误差的分担值，误差的计算过程是从最后一层推进的。最后是更新参数，目标是使误差变小。

使用·来表示元素积(Hadamardproduct),多层感知器算法的矩阵表示形式如下所示：

1.执行前向计算过程，计算第二层一直到最后一层的激活值，这里上标n表示在多层感知器的第n层，n_l表示多层感知器的最后一层即输出层。

2.先求出最后一层的误差值，y表示样本的标签值，z表示上一层数据作为输入经过加权求和之后的值，a表示z经过激活函数激活之后的值，即表示样本经过多层感知器计算之后的预测值，f'(z)表示f(z)的导数：

3.倒序求从倒数第二层到第二层的误差值，W表示多层感知器相邻两层之间的参数，W和b实际就是整个网络所训练的参数：

δ^l＝((W^l)^Tδ^l+1)·f'(z^l)

4.计算梯度，ΔW和Δb表示网络训练参数的梯度，在每一次反向传播过程中都以此参数来更新网络：

5.更新多层感知器中权重，η为网络中的学习率，数值范围一般控制在0＜η≤1，主要用于控制网络参数训练更新的步长：

W^l＝W^l-ηΔW^l

b^l＝b^l-ηΔb^l

发明内容

部分连接多层感知器的图形化设计与实现方法，是利用图形生成的方式来构建一个用户需要的前馈神经网络，网络的要求形式是多层感知器的图结构，一种基于部分连接多层感知器的计算模式识别方法，其特征在于以下步骤：