[发明专利]一种构造卷积神经网络（CNN）模型的方法和系统

说明书

本文公开了一种用于构造卷积神经网络(CNN)模型的方法和系统。该方法包括正则化空间域权重，提供空间域权重的量化，修剪空间域中的小权重或零权重，微调量化码本，压缩来自量化码本的量化输出，以及解压缩空间域权重并在修剪Winograd域权重之后使用稀疏空间域卷积和稀疏Winograd卷积。

优先权

本申请要求于2018年5月14日在美国专利商标局提交的指定的序列号为62/671,311的美国临时专利申请以及于2018年9月25日在美国专利商标局提交的指定的序列号为16/141,035的美国非临时专利申请的优先权，其全部内容通过引用并入本文。

技术领域

本公开一般涉及一种方法和系统，更具体地，涉及一种利用卷积神经网络(Convolutional Neural Network，CNN)的方法和系统。

背景技术

利用卷积神经网络(CNN)的深度学习最近已经在许多计算机视觉应用中实现了性能突破。现代CNN的进步伴随着具有大量可学习参数的非常深且复杂的多层架构。大的模型尺寸和巨大的计算复杂度阻碍了在资源有限的平台(诸如电池供电的移动设备)上部署最先进的CNN。因此，将复杂的CNN模型压缩为紧凑形式以降低其存储器要求并减少其计算成本是非常有意义的。

发明内容

根据一个实施例，提供了一种方法。该方法包括正则化空间域权重，提供空间域权重的量化，修剪(prune)空间域中的小权重或零权重，微调量化码本，压缩来自量化码本的量化输出，和解压缩空间域权重，以及在修剪Winograd域权重后使用稀疏空间域卷积和稀疏Winograd卷积。

根据一个实施例，提供了一种系统。该系统包括处理器和非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质被配置为存储指令，该指令在被执行时使得处理器正则化空间域权重，提供对空间域权重的量化，修剪空间域中的小权重或零权重，微调量化码本，压缩来自量化码本的量化输出，解压缩空间域权重，以及在修剪Winograd域权重后使用稀疏空间域卷积和稀疏Winograd卷积。

附图说明

通过结合附图的以下详细描述，本公开的某些实施例的以上和其他方面、特征和优点将更加显而易见，其中：

图1是根据实施例的产生压缩的CNN的方法的流程图；

图2是根据实施例的重新训练CNN的方法的流程图；

图3是根据实施例的对CNN模型进行解压缩的方法的流程图；

图4是根据一个实施例的网络环境中的电子设备的框图；并且

图5是根据一个实施例的程序的框图。

具体实施方式

在下文中，参考附图详细描述了本公开的实施例。应该注意的是，相同的元素将由相同的附图标记表示，尽管它们在不同的附图中示出。在以下描述中，仅提供诸如详细配置和组件的具体细节以帮助全面理解本公开的实施例。因此，对于本领域技术人员来说显而易见的是，在不脱离本公开的范围的情况下，可以对本文描述的实施例进行各种改变和修改。另外，为了清楚和简明，省略了对公知功能和结构的描述。下面描述的术语是考虑到本公开中的功能而定义的术语，并且可以根据用户、用户的意图或习惯而不同。因此，术语的定义应当基于整个说明书的内容而确定。

本公开可以具有各种修改和各种实施例，其中实施例在下面参考附图被详细描述。然而，应当理解的是，本公开不限于该实施例，而是包括在本公开的范围内的所有修改、等同物和替代物。