[发明专利]神经网络参数初始化的方法和装置

说明书

本申请提供了人工智能领域中的一种神经网络参数初始化的方法及装置。该方法包括：为所述神经网络的每一局部网络分别确定与之对应的特征训练集，基于该多个特征训练集分别训练多个局部网络，该多个局部网络中每个局部网络覆盖神经网络中的一部分，并将训练完成的该多个局部网络的参数的全部或者部分作为神经网络初始化参数。本申请提供的技术方案通过训练多个局部网络得到神经网络初始化参数，能够提高神经网络的收敛速度和参数初始化性能。

技术领域

本申请涉及人工智能领域，并且更具体地，涉及一种神经网络参数初始化的方法和装置。

背景技术

神经网络的研究分化为两个方向。其中，一个研究方向专注于生物信息处理的过程，称为生物神经网络；另一个研究方向专注于工程应用，称为人工神经网络。直到2006年深度网络(deep network)和深度学习(deep learning)概念的提出，神经网络又开始焕发一轮新的生命。

深度神经网络(deep neural networks，DNN)是指深度神经网算法，是近几年在工业界和学术界新型的一个机器学习领域的流行话题。DNN算法成功的将以往人工神经网络的识别率提高了一个显著的档次。

目前深度神经网络作为机器学习的热点之一，可以学习训练数据高层次的抽象特征义特征。近年来深度神经网络已经在图像处理、语音识别、文本分类等方面得到了很好的验证和应用。具体地，神经网络起源于上世纪40年代，神经网络可以实现一些逻辑运算的功能。

在利用反向传播算法对深度神经网络进行的训练的过程中，由于深度神经网络的网络层数众多，极易出现梯度消失或者梯度爆炸。因此，神经网络参数的初始化显得至关重要，好的神经网络参数初始化的方法，有利于提升神经网络参数初始化的性能和训练神经网络的收敛速度。

现有技术中的，在深度神经网络参数初始化时采用随机化方法以及迁移学习的方法，导致训练深度神经网络时收敛速度慢以及深度神经网络参数初始化的性能差。因此，如何提高训练神经网络的收敛速度和神经网络参数初始化的性能成为亟待解决的问题。

发明内容

本申请提供一种神经网络参数初始化的方法和装置，能够提高训练神经网络的收敛速度和神经网络参数初始化的性能。

第一方面，提供了一种神经网络参数初始化的方法，包括：为所述神经网络的每一局部网络分别确定与之对应的特征训练集，其中，所述神经网络包括多个局部网络，所述多个局部网络中的每个局部网络覆盖所述神经网络的一部分；对每一局部网络分别使用与之对应的特征训练集训练以得到该局部网络的参数；确定所述神经网络的初始化参数，其中，所述神经网络的初始化参数包括：所述多个局部网络的参数的全部或部分。

根据本申请实施例提供的神经网络参数初始化的方法，通过为多个局部网络确定多个特征训练集，基于局部网络对应的特征训练集分别训练多个局部网络，并将训练完成的局部网络中的参数的全部或部分参数作为所述神经网络的初始化参数。由于，上述的多个局部网络中的每个局部网络覆盖所述神经网络的一部分，相当于对神经网络的多个部分分别进行参数初始化，能够提高训练神经网络的收敛速度和神经网络参数初始化的性能。

应理解，上述将训练完成的多个局部网络的参数作为神经网络的初始化参数为：多个局部网络中每个局部网络覆盖神经网络的一部分，在该局部网络训练完成后，该局部网络的参数作为对应的覆盖部分的神经网络的参数。

其中，每个局部网络覆盖神经网络的一部分指的是该局部网络为神经网络中的一部分。

结合第一方面，在第一方面的某些实现方式中，所述确定所述神经网络的初始化参数包括：所述神经网络的第一部分的初始化参数为第一局部网络集合中，最后一个训练完成的局部网络的参数的全部或部分，所述第一局部网络集合包括一个或多个训练完成的局部网络，所述一个或多个训练完成的局部网络覆盖所述神经网络的第一部分。