[发明专利]神经网络模型的训练方法、数据处理方法和相关产品

说明书

本申请涉及一种神经网络模型的训练方法、数据处理方法和相关产品。该方法包括：获取初始网络模型；其中，所述初始网络模型为神经网络模型；将训练数据输入所述初始网络模型进行训练，得到目标网络模型；所述训练数据包括语音数据、文本数据和图像数据中的至少一种。采用本方法能够提高语音数据、文本数据和图像数据的处理效率并降低处理器的功耗。

技术领域

本申请涉及计算机技术领域，特别是涉及一种神经网络模型的训练方法、数据处理方法和相关产品。

背景技术

随着神经网络技术的发展，深度学习框架(Caffe)已经广泛的得到应用。

基于Caffe的神经网络模型经过训练，能够对图像、语音和文本等数据进行处理，从而的到需要的识别结果，例如对图像进行识别从而得到图像特征，对语音进行识别从而得到控制指令等。传统的神经网络模型中，需要进行处理的数据量越来越大，因此对于数据处理和计算过程中处理器的能效开销大。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低处理器能耗开销的神经网络模型的训练方法、数据处理方法、装置、处理器、芯片、板卡和电子设备。

第一方面，本申请实施例提供一种神经网络模型的训练方法，应用于包括处理器的计算平台中，所述方法包括：

获取初始网络模型；其中，所述初始网络模型为神经网络模型；

采用数据稀疏化的方法，将训练数据输入所述初始网络模型进行训练，得到目标网络模型；

其中，所述数据稀疏化为将运算数据中的部分数据设置为零，得到稀疏化后的新的运算数据，并采用新的运算数据进行运算的操作；所述训练数据包括语音数据、文本数据和图像数据中的至少一种。

在其中一个实施例中，所述数据稀疏化包括权值数据稀疏化和/或神经元数据稀疏化。

在其中一个实施例中，所述权值数据稀疏化包括权值数据静态稀疏化，所述采用数据稀疏化的方法，将训练数据输入所述初始网络模型进行训练，得到目标网络模型，包括：

采用权值数据静态稀疏化的方法，将所述训练数据输入所述初始网络模型进行训练，得到目标网络模型；

其中，所述权值数据静态稀疏化为在训练过程中的每次迭代运算时，按照预设的稀疏条件，将神经网络模型中的部分权值数据更新为零并作为新的权值数据进行运算的操作；所述稀疏条件为根据预设的权值阈值和/或预设的权值稀疏率进行设定的条件。

在其中一个实施例中，所述权值数据稀疏化包括权值数据动态稀疏化，所述采用数据稀疏化的方法，将训练数据输入所述初始网络模型进行训练，得到目标网络模型，包括：

采用权值数据动态稀疏化的方法，将所述训练数据输入所述初始网络模型进行训练，得到目标网络模型；

其中，所述权值数据动态稀疏化为在训练过程中的每次迭代运算时，将获取的稀疏化矩阵和对应的权值数据相乘的结果作为当次运算的权值数据进行运算的操作；所述稀疏化矩阵的获取方式包括：根据预设的稀疏条件对权值数据进行遍历，将权值数据中满足所述稀疏条件的数据更新为0，以及将权值数据中不满足所述稀疏条件的数据更新为1，得到所述稀疏化矩阵；所述稀疏条件为根据预设的权值阈值和/或预设的权值稀疏率进行设定的条件。

在其中一个实施例中，所述方法还包括：

根据所述训练数据对应的输出结果，对所述稀疏条件进行调整。

在其中一个实施例中，所述根据所述训练数据对应的输出结果，对所述稀疏条件进行调整，包括：

若所述输出结果与参考结果的差异度大于或等于预设的差异度阈值，则将所述稀疏条件向降低稀疏度的方向调整；和/或