[发明专利]神经网络训练的方法、神经网络的压缩方法以及相关设备

说明书

本申请涉及人工智能领域中的神经网络的压缩技术，公开了一种神经网络训练的方法。包括：将第一训练数据输入第一特征提取网络，得到与第一训练数据对应的N个第一特征信息，计算指示N个第一特征信息的数据分布规律的第一分布信息，通过第一神经网络对第一特征提取网络进行剪枝，将第一训练数据输入剪枝后的第一特征提取网络，得到与第一训练数据对应的N个第二特征信息，计算指示N个第二特征信息的数据分布规律的第二分布信息，根据指示第一分布信息和第二分布信息的相似度的第一损失函数，对第一神经网络进行训练。提供了执行剪枝操作的神经网络的训练方法，剪枝前后得到的特征信息的数据分布规律类似，保证剪枝后的特征提取网络的性能。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络训练的方法、神经网络的压缩方法以及相关设备。

背景技术

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。目前，基于深度学习(deep learning)的神经网络进行文本处理是人工智能常见的一个应用方式。

近两年来，基于转换器(Transformer)结构的文本处理模型在自然语言处理(natural language processing，NLP)领域中已经成为了一种新的范式，相比较早期的模型，Transformer结构的文本处理模型的语义特征提取能力更强，具备更长距离的特征捕获能力。

基于Transformer结构的文本处理模型通常比较大，从而导致占据的存储空间较大，且推理速度较慢，因此，一种神经网络的压缩方案亟待推出。

发明内容

本申请实施例提供了一种神经网络训练的方法、神经网络的压缩方法以及相关设备，提供了一种用于对第一特征提取网络执行剪枝操作的神经网络的训练方法，采用第一损失函数来训练第一神经网络，以使剪枝前后的特征提取网络生成的N个特征信息的数据分布规律类似，从而保证剪枝前后的特征提取网络的特征表达能力相似，以保证剪枝后的特征提取网络的性能。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种神经网络的训练方法，可用于人工智能领域中。方法可以包括：训练设备将第一训练数据输入第一特征提取网络，得到第一特征提取网络输出的与第一训练数据对应的N个第一特征信息，N为大于1的整数；根据N个第一特征信息，计算第一分布信息，第一分布信息用于指示N个第一特征信息的数据分布规律。训练设备通过第一神经网络，对第一特征提取网络执行剪枝操作，得到剪枝后的第一特征提取网络；将第一训练数据输入剪枝后的第一特征提取网络，得到剪枝后的第一特征提取网络输出的与第一训练数据对应的N个第二特征信息，根据N个第二特征信息，计算第二分布信息，第二分布信息用于指示N个第二特征信息的数据分布规律。训练设备根据第一损失函数，对第一神经网络执行训练操作，得到第二神经网络；其中，第二神经网络为执行过训练操作的第一神经网络，第一损失函数指示第一分布信息与第二分布信息之间的相似度，也即迭代训练的目标为拉近第一分布信息与第二分布信息之间的相似度，第一分布信息与第二分布信息之间的相似度用于体现第一分布信息与第二分布信息之间的差异程度，也可以表示为第一分布信息与第二分布信息之间的距离，前述距离可以为KL散度距离、交叉熵距离、欧式距离、马氏距离、余弦距离或其他类型的距离。需要说明的是，在对第一神经网络进行训练的过程中，不修改第一特征提取网络的权重参数。