[发明专利]神经网络模型装置和神经网络模型的压缩方法

说明书

一种用于压缩神经网络模型的电子装置可以基于原始的训练的神经网络模型来获取训练数据对，并且使用获取的训练数据对来训练从原始的训练的神经网络模型压缩的压缩神经网络模型。

技术领域

本公开涉及被配置用于压缩神经网络模型的电子装置及其相应方法。更具体地，本公开涉及一种用于恢复在压缩已经训练的神经网络模型的过程中产生的性能恶化的电子装置及其相应方法。

背景技术

可以设计和训练人工神经网络来执行广泛的功能。应用人工神经网络的技术可以包括图像处理、语音识别、推理/预测、知识表达、操作控制等。因此，许多层和参数(权重)可以包括在深度神经网络模型中，用于执行各种技术的各种功能。

根据来自大规模数据库的大量训练数据，随着具有许多层的大规模模型的使用的增加，深度神经网络通常具有显示更好性能的趋势。

因此，基于诸如智能手机、机器人、家用电器和物联网(IoT)设备之类的以设备形式应用神经网络模型的设备，考虑到设备资源的限制，压缩和加载神经网络模型以最小化存储器使用、计算复杂性、功耗等可能是必要的。

此外，处理数百万个流程的数据中心等云应用服务器也可能需要压缩神经网络模型。

图1是示出通用神经网络模型压缩处理器的图。

参考图1，神经网络模型压缩流水线10被配置为执行模型压缩11和微调12过程。

作为输入提供给神经网络模型压缩流水线10的原始模型1可以通过模型压缩模块11通过诸如权重修剪、通道修剪、矩阵分解和量化的过程作为第一压缩模型2输出。第一压缩模型2的性能可能低于原始模型1的性能。

为了恢复性能，可以通过微调模块12基于实际训练数据(例如，在生成原始模型时使用的实际训练数据)来训练第一压缩模型2，并且作为调谐第一压缩模型2的结果，可以获取与第一压缩模型相比具有恢复的性能的最终压缩模型3。

基于在模型压缩过程中优化原始模型1的一部分，可能出现与原始模型相比性能恶化的问题，并且需要使用实际训练数据进行微调以恢复恶化的性能的过程。微调不仅在模型压缩中执行，而且在增量学习、转移学习等中执行。

因此，尽管微调需要实际的训练数据集，但可能会出现问题，例如在生成原始模型时不保留实际使用的训练数据集，或者由于个人或法律原因无法共享实际的训练数据集。

发明内容

技术问题

本公开提供了一种神经网络模型的压缩方法，该压缩方法从训练的神经网络模型生成训练数据集。

此外，提供了一种获取具有良好性能和高准确度的压缩神经网络模型的电子装置，尽管没有用于训练原始神经网络模型的训练数据集。

此外，本公开提供了一种尽管不具有训练数据集也能够提供压缩模型的服务器及其压缩方法。

此外，本公开提供了一种AI应用服务服务器装置及其方法，该装置根据规范压缩并提供包括神经网络模型的应用。

下面将更详细地描述本公开的实施例。

问题的解决方案

根据本公开的实施例，提供了一种电子装置，包括：存储器，存储计算机可读指令；和处理器。处理器在执行计算机可读指令时被配置成:获取原始神经网络模型；根据压缩算法对原始神经网络模型进行压缩，获取压缩的神经网络模型；基于原始神经网络模型，获取用于训练压缩的神经网络模型的训练数据对；使用训练数据对训练压缩的神经网络模型，以获取压缩和训练的神经网络模型。

处理器可以基于原始神经网络模型的特定输出值获取目标函数，基于目标函数从原始神经网络模型获取输入值，并且获取包括输入值和特定输出值的训练数据对。