[发明专利]基于张量分解的模型压缩方法、装置和服务器

说明书

本申请实施例适用于人工智能技术领域，提供了一种基于张量分解的模型压缩方法、装置和服务器，该方法包括：服务器获取待压缩的模型，模型包括至少一层模型层，模型层具有相应的原始张量，原始张量包括多个维度，多个维度分别具有相应的维度大小；针对模型层中的待分解层，服务器根据待分解层的原始张量中每个维度的维度大小，确定待分解层的原始张量的张量分解形式；以及，服务器根据每个维度的维度大小，确定待分解层的原始张量的张量链分解秩；服务器按照张量分解形式和张量链分解秩，对待分解层的原始张量进行张量分解，得到压缩模型。通过上述方法，可以对深度神经网络模型进行压缩，使得压缩后的深度神经网络模型能够部署在终端设备上。

技术领域

本申请实施例属于人工智能(artificial intelligence，AI)技术领域，尤其涉及一种基于张量分解的模型压缩方法、装置和服务器。

背景技术

大规模的数据集驱动了深度神经网络(deep neural network，DNN)的迅猛发展，基于深度神经网络训练得到的各类模型已广泛应用于计算机视觉、自然语言处理等领域。

深度神经网络模型提供了一种端到端的数据处理方法，可以替代传统人工设计(hand-crafted)的特征提取器和分类器，模型的性能也得到了大幅提升。借助于处理器、计算机集群等提供的强大计算能力，使得通过深度神经网络模型快速处理大规模的数据也成为了可能。

目前，由于传统的深度神经网络模型离不开高性能计算能力的支持，深度神经网络模型的训练及推理过程大多是在云端完成的。但是，上述在云端实现的数据处理模式需要将大量的数据(如图像和音频数据)通过网络从边缘端传输至云端，数据通信存在较高的延迟，在离线或者低延时要求的场景下，无法满足用户的实际需求。

发明内容

本申请实施例提供了一种基于张量分解的模型压缩方法、装置和服务器，用以对深度神经网络模型进行压缩，使得压缩后的深度神经网络模型能够部署在终端设备上。

第一方面，本申请实施例提供了一种基于张量分解的模型压缩方法，包括：

服务器获取待压缩的模型，模型包括至少一层模型层，模型层具有相应的原始张量，原始张量包括多个维度，多个维度分别具有相应的维度大小；

针对模型层中的待分解层，服务器根据待分解层的原始张量中每个维度的维度大小，确定待分解层的原始张量的张量分解形式；以及，

服务器根据每个维度的维度大小，确定待分解层的原始张量的张量链分解秩；

服务器按照张量分解形式和张量链分解秩，对待分解层的原始张量进行张量分解，得到与模型对应的压缩模型。

本申请实施例通过确定模型中待分解层对应的原始张量的张量分解形式和张量链分解秩，从而可以按照上述张量分解形式和张量链分解秩对原始张量进行分解，减少模型的参数量，降低模型占用的空间，有助于将模型部署在算力有限的终端设备上，满足用户在离线或低延时场景下的实际需求。

在第一方面的一种可能的实现方式中，针对模型层中的待分解层，服务器根据待分解层的原始张量中每个维度的维度大小，确定待分解层的原始张量的张量分解形式，可以是指：针对模型层中的待分解层，服务器根据待分解层的原始张量中每个维度的维度大小，分别确定待分解层的原始张量中每个维度的张量分解形式。

在第一方面的一种可能的实现方式中，服务器根据待分解层的原始张量中每个维度的维度大小，确定待分解层的原始张量中每个维度的张量分解形式时，服务器可以按照预设的维数，对每个维度的维度大小进行因子分解，得到每个维度的多种分解式；然后，服务器根据多种分解式，确定每个维度的张量分解形式。

在第一方面的一种可能的实现方式中，服务器根据多种分解式，确定每个维度的张量分解形式可以包括：服务器分别计算每个维度的每个分解式中各个数值的熵；服务器将最大值的熵对应的分解式，确定为对应维度的张量分解形式。