[发明专利]压缩分类神经网络的方法和装置

说明书

根据本公开的实施例，提供了一种压缩分类神经网络的方法、装置、电子设备、计算机存储介质和计算机程序产品。在此描述的方法包括：获取针对分类神经网络的卷积层的候选裁剪方案，候选裁剪方案指示卷积层的多个通道中的一组通道将被保留；利用分类神经网络处理一组样本，以确定与一组通道相关联的特征图；基于特征图，确定第一度量和第二度量；以及基于第一度量和第二度量，更新候选裁剪方案，以确定用于裁剪分类神经网络的卷积层的目标裁剪方案。基于以上的方式，本公开能够协同地考虑保留的一组通道对于分类神经网络的影响，进而更为有效地压缩神经网络。

技术领域

本公开的各实现方式涉及人工智能领域，更具体地，涉及压缩分类神经网络的方法、装置、电子设备、计算机存储介质和计算机程序产品。

背景技术

近年来，随着人工智能技术的发展，神经网络开始被广泛应用于图像处理、语音识别等诸多技术领域之中，并发挥了重要的作用。

为了执行更加复杂的任务，神经网络所包含的层越来越多，其网络参数的规模和计算规模也愈加庞大。这使得神经网络在训练和使用时需要消耗大量的计算资源，这样的复杂神经网络难以被部署到计算资源和内存均受限的设备(例如移动设备和嵌入式系统)中。

因此，如何在保证神经网络准确性的情况下压缩神经网络模型的体积，减少神经网络模型的计算量，已经成为当前的关注热点。

发明内容

本公开的实施例提供了一种压缩分类神经网络的方案。

在本公开的第一方面，提供了一种压缩分类神经网络的方法。该方法包括：获取针对分类神经网络的卷积层的候选裁剪方案，候选裁剪方案指示卷积层的多个通道中的一组通道将被保留；利用分类神经网络处理一组样本，以确定与一组通道相关联的特征图；基于特征图，确定第一度量和第二度量，第一度量指示一组样本中具有相同类别的样本的特征表示之间的第一差异，第二度量指示具有不同类别的样本的特征表示之间的第二差异；以及基于第一度量和第二度量，更新候选裁剪方案，以确定用于裁剪分类神经网络的卷积层的目标裁剪方案。

在本公开的第二方面中，提供了一种压缩分类神经网络的装置。该装置包括：获取模块，被配置为获取针对分类神经网络的卷积层的候选裁剪方案，候选裁剪方案指示卷积层的多个通道中的一组通道将被保留；处理模块，被配置为利用分类神经网络处理一组样本，以确定与一组通道相关联的特征图；分析模块，被配置为基于特征图，确定第一度量和第二度量，第一度量指示一组样本中具有相同类别的样本的特征表示之间的第一差异，第二度量指示具有不同类别的样本的特征表示之间的第二差异；以及更新模块，被配置为基于第一度量和第二度量，更新候选裁剪方案，以确定用于裁剪分类神经网络的卷积层的目标裁剪方案。

在本公开的第三方面，提供了一种电子设备，包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行实现根据本公开的第一方面的方法。

在本公开的第五方面，提供了一种计算机程序产品，其包括计算机可执行指令，其中计算机可执行指令在被处理器执行时实现根据本公开的第一方面的方法。

根据本公开的各种实施例，本公开能够协同地考虑保留的一组通道对于分类神经网络的影响，进而更为有效地压缩分类神经网络。此外，通过压缩分类神经网络，本公开的实施例可以降低神经网络对于所部署的计算设备的要求，从而提高神经网络的扩展性。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；