[发明专利]基于梯度下降法与广义逆的复值神经网络训练方法

说明书

技术领域

本发明属于图像处理、模式识别和通信传输的技术领域，尤其涉及一种基于梯度下降法与广义逆的复值神经网络训练方法。

背景技术

在图像处理、模式识别和通信传输等方面利用神经网络建模的方法进行样本训练与测试有广泛的应用。在训练样本中的神经网络模型建模，神经网络信号(输入信号和输出信号以及权值参数)，可以为实数值和复数值，从而神经网络分为实值神经网络和复值神经网络。现有的神经网络建模方法多数是建立的实值神经网络模型，但随着电子信息科学的迅速发展，复数值信号越来越频繁地出现在工程实践中，仅考虑实值的计算无法良好的解决实际问题，而复值神经网络可以解决一些实值神经网络所解决不了的问题。复值神经网络是通过复数参数和变量(即信号的输入、输出以及网络权值均为复数)来处理复数信息的神经网络。因此，一系列复值神经网络的模型被陆续提出并加以深入研究。

在Batch Split-Complex Backpropagation Algorithm中提出了一种BSCBP方法用于训练复值神经网络。激活函数选择实虚部型激活函数，对隐层输入的实虚部分别激活，避免奇异点的出现；BSCBP方法先给输入权值矩阵以及输出权值矩阵进行随机赋值，再通过梯度下降法进行梯度更新，最后计算测试样本的精度。但是，基于梯度下降法的BSCBP模型需要多次迭代训练，消耗时间长并且学习效率较低。

在Fully Complex Extreme Learning Machine中提出了一种CELM方法将ELM方法从实数域扩展到复数域，并应用于非线性信道均衡。CELM只需要设置合适的网络隐层节点个数，对网络的输入权值进行随机赋值，输出层权值的最优解通过最小二乘法得到，激活函数可以选sigmoid函数、(反)三角函数以及(反)双曲函数，与BSCBP不同的是，激活函数对隐层的输入矩阵直接激活。整个过程一次完成，无需迭代，因此具有参数选择容易、学习速度极快的优点。但是CELM方法为了弥补隐层节点参数的随意性选择，往往需要较多的隐层节点个数，且训练精度有待进一步提高。

综上所述，BSCBP在训练时速度缓慢，精度较低，CELM方法虽然速度快，但所需要的网络隐层节点数过多，且精度也有待提高，现有技术中对于如何同时解决复值神经网络训练方法中训练速度慢、精度低和网络隐层节点数过多的问题，尚缺乏有效的解决方案。

发明内容

本发明为了解决上述问题，克服传统的复值神经网络训练方法中无法同时解决训练速度慢、精度低和网络隐层节点数过多的问题，提供一种基于梯度下降法与广义逆的复值神经网络训练方法(Gradient based Generalized Complex Neural Networks,简称GGCNN)。

为了实现上述目的，本发明采用如下技术方案：

一种基于梯度下降法与广义逆的复值神经网络训练方法，所述方法步骤包括：

(1)选择单隐层复值神经网络模型对样本数据集进行建模；

(2)根据步骤(1)中选择的单隐层复值神经网络模型，利用广义逆计算所述单隐层复值神经网络中的权值矩阵，将迭代次数初始值设置为1，利用梯度下降法计算所述单隐层复值神经网络中的权值向量；

(3)根据步骤(2)中计算出的所述权值矩阵和所述权值向量，获取复值神经网络网络参数，计算当前样本数据的均方误差；判断当前迭代次数是否等于最大迭代次数，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2)。

优选的，所述步骤(1)中的样本数据集包括训练样本数据集或测试数据集。

优选的，所述步骤(1)中的所述单隐层复值神经网络模型为：

所述单隐层复值神经网络模型中的输入层、隐层和输出层神经元个数分别为L、M和1；

给定Q个输入样本，其样本矩阵为Z＝(z_ij)_L×Q＝Z^R+iZ^I，其中，Z^R为Z的实部，Z^I为Z的虚部；

第q个样本的输入为其中，i＝1,2…L；

输入样本相应的理想输出矩阵为D＝(d₁,d₂…d_Q)^T＝D^R+iD^I，其中，D^R为D的实部，D^I为D的虚部；

第q个样本的理想输出为d^q∈C。