[发明专利]模型压缩方法、模型压缩系统、服务器及存储介质

说明书

本申请涉及神经网络架构搜索领域，特别涉及一种模型压缩方法、模型压缩系统、服务器及存储介质。本申请的模型压缩方法包括：接收候选模型；对候选模型进行神经网络架构搜索，得到多个变换模型；对候选模型进行算力压缩得到压缩模型；将变换模型、压缩模型作为候选模型，重新进行神经网络架构搜索和算力压缩。本申请将模型压缩与神经网络架构搜索相结合，通过不断地轮询，在轮询到一定程度之后，可以获得精确度较高的压缩模型，从而兼顾获取压缩模型的准确率，且整个模型压缩过程减少了人工参与，降低人工成本。

技术领域

本发明涉及神经网络架构搜索领域，特别涉及一种模型压缩方法、模型压缩系统、服务器及存储介质。

背景技术

神经网络在机器学习领域已经取得非常出色的成绩，如物体分类、目标检测等，基于神经网络的智能算法改变了人类的生产生活方式。但由于神经网络计算复杂度高、模型参数量大，因此，模型算力压缩技术成为最近几年学术界和工业界研究的热点。

目前，模型压缩的常用方法包括：参数量化、网络剪枝、人工设计高效神经网络结构；然而，参数量化和网络剪枝这两种方法在准确率上有很大的局限性；而人工设计高效神经网络结构的设计离不开大量人力的投入和研究，需要投入大量的时间进行人工实验和调参；可见，目前的模型压缩方法均无法兼顾准确性与节省人力成本。

发明内容

本申请实施例的主要目的在于提出一种模型压缩方法、模型压缩系统、服务器及存储介质，兼顾获取压缩模型的准确率以及降低人工成本。

为实现上述目的，本申请实施例提供了一种模型压缩方法，包括：接收候选模型；对所述候选模型进行神经网络架构搜索，得到多个变换模型；对所述候选模型进行算力压缩得到压缩模型；将所述变换模型、所述压缩模型作为所述候选模型，重新进行所述神经网络架构搜索和所述算力压缩。

本申请实施例还提供了一种模型压缩系统，包括：接收模块、模型自动搜索模块、算力压缩模块；所述接收模块用于接收候选模型；所述模型自动搜索模块用于对所述候选模型进行神经网络架构搜索，得到多个变换模型并作为所述候选模型输入所述接收模块；所述算力压缩模块用于对所述候选模型进行算力压缩得到压缩模型，所述压缩模型作为所述候选模型输入所述接收模块。

本申请实施例还提供了一种服务器，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的模型压缩方法。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的模型压缩方法。

本申请的模型压缩方法，可以通过神经网络架构搜索获取尽可能多的神经网络模型，从而可以提高获取到较好模型的概率，且本申请通过算力压缩可以对上一次轮询得到的多个变换模型进行压缩；可见，本申请将模型压缩与神经网络架构搜索相结合，将神经网络架构搜索得到的变换模型作为候选模型在下一次轮询时进行算力压缩得到的压缩模型，并再次作为候选模型，算力压缩得到的压缩模型也可以在下一次轮询时进行神经网络架构搜索得到变换模型；通过不断地轮询，在轮询到一定程度之后，可以获得精确度较高的压缩模型，从而兼顾获取压缩模型的准确率，且整个模型压缩过程减少了人工参与，降低人工成本。另外，本申请相对于相关技术而言，能够自动获得压缩模型，也加快的模型压缩的速度。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本申请一实施例的模型压缩方法的流程示意图；

图2是根据本申请一实施例的模型压缩方法步骤103的子步骤的流程示意图；

图3是根据本申请一实施例的模型压缩方法的流程示意图；