[发明专利]卷积神经网络去冗余方法及装置、电子设备和存储介质

说明书

本发明实施例公开了一种卷积神经网络去冗余方法及装置、电子设备和存储介质，其中方法包括：针对所述初始卷积神经网络，确定各卷积核之间的相似度；根据各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝处理；对剪枝后的卷积神经网络进行训练，得到目标卷积神经网络。本发明实施例可以提高卷积神经网络的运行速度。

技术领域

本发明涉及深度学习技术领域，尤其是一种卷积神经网络去冗余方法及装置、电子设备和存储介质。

背景技术

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，尤其适合完成大型图像处理。

发明内容

本发明实施例提供一种卷积神经网络去冗余的技术方案。

根据本发明实施例一个方面，提供一种卷积神经网络去冗余方法，包括：针对初始卷积神经网络，确定各卷积核之间的相似度；根据所述各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝处理；对剪枝后的卷积神经网络进行训练，得到目标卷积神经网络。

在一种可选方式中，还包括：训练得到所述初始卷积神经网络；所述训练得到所述初始卷积神经网络包括：确定满足预置准确度标准的网络结构；根据数据样本训练网络，得到满足所述网络结构的初始卷积神经网络。

在一种可选方式中，根据所述各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝，包括：将各卷积层的各卷积核之间的相似度与预设的剪枝相似度阈值进行比较；消除高于所述剪枝相似度阈值的相似度对应的卷积核。

在一种可选方式中，针对所述初始卷积神经网络，计算所述各卷积核之间的相似度，包括：针对所述初始卷积神经网络，计算各卷积核之间的欧式距离或余弦距离；通过各卷积核之间的欧式距离或余弦距离，确定各卷积核之间的相似度。

在一种可选方式中，所述消除高于所述剪枝相似度阈值的相似度对应的卷积核，包括：消除低于预设剪枝欧式距离阈值的欧式距离对应的卷积核，或者，消除低于预设剪枝余弦距离阈值的余弦距离对应的卷积核。

在一种可选方式中，所述针对所述初始卷积神经网络，计算各卷积核之间的欧式距离或余弦距离，包括：针对所述初始卷积神经网络中的每一个卷积层，根据卷积层的卷积核大小，确定特征图的输出通道数量；根据每个输出通道的参数构成M个向量；计算所述M个向量每两个向量之间的欧式距离为各卷积核之间的欧式距离，或者，计算所述M个向量每两个向量之间的余弦距离为各卷积核之间的余弦距离。

在一种可选方式中，所述根据各卷积核之间的相似度，对所述神经卷积网络的卷积层进行剪枝，包括：根据所述M个向量每两个向量之间的欧式距离得到第一矩阵；将所述第一矩阵中的欧式距离数值与预设的剪枝欧式距离阈值进行比较；在所述第一矩阵中，将大于所述剪枝欧式距离阈值的位置设置为0，将小于所述剪枝欧式距离阈值的位置设置为1，得到第二矩阵；或者，根据所述M个向量每两个向量之间的余弦距离得到第一矩阵；将所述第一矩阵中的余弦距离数值与预设的剪枝余弦距离阈值进行比较；在所述第一矩阵中，将大于所述剪枝余弦距离阈值的位置设置为0，将小于所述剪枝余弦距离阈值的位置设置为1，得到第二矩阵。

在一种可选方式中，所述对剪枝后的卷积神经网络进行训练，得到目标卷积神经网络，包括：根据所述第二矩阵中每个元素的值，建立连接图；根据连接体算法，计算得到所述连接图中连接体的总数；将所述连接体的总数确定为对应的卷积层的输出通道数目，将连接体中所对应的向量求均值，作为所述卷积层新的参数；根据所述新的参数训练得到所述目标卷积神经网络。

在一种可选方式中，所述根据所述新的参数训练得到所述目标卷积神经网络包括：实时测试当前训练得到的卷积神经网络的速度和准确度；将所述测试得到的速度和/或准确度分别与目标速度阈值和/或目标准确度阈值进行比较，若达到目标速度和/或目标准确度要求，则确定训练完成并得到所述目标卷积神经网络。