[发明专利]基于张量分解的模型压缩方法、装置和服务器

权利要求书

1.一种基于张量分解的模型压缩方法，其特征在于，包括：

服务器获取待压缩的模型，所述模型包括至少一层模型层，所述模型层具有相应的原始张量，所述原始张量包括多个维度，所述多个维度分别具有相应的维度大小；

针对所述模型层中的待分解层，所述服务器根据所述待分解层的原始张量中每个维度的维度大小，确定所述待分解层的原始张量的张量分解形式；以及，

所述服务器根据所述每个维度的维度大小，确定所述待分解层的原始张量的张量链分解秩；

所述服务器按照所述张量分解形式和所述张量链分解秩，对所述待分解层的原始张量进行张量分解，得到与所述模型对应的压缩模型。

2.根据权利要求1所述的方法，其特征在于，所述针对所述模型层中的待分解层，所述服务器根据所述待分解层的原始张量中每个维度的维度大小，确定所述待分解层的原始张量的张量分解形式，包括：

针对所述模型层中的待分解层，所述服务器根据所述待分解层的原始张量中每个维度的维度大小，分别确定所述待分解层的原始张量中每个维度的张量分解形式。

3.根据权利要求2所述的方法，其特征在于，所述针对所述模型层中的待分解层，所述服务器根据所述待分解层的原始张量中每个维度的维度大小，确定所述待分解层的原始张量中每个维度的张量分解形式，包括：

针对所述模型层中的待分解层，所述服务器按照预设的维数，对所述每个维度的维度大小进行因子分解，得到所述每个维度的多种分解式；

所述服务器根据所述多种分解式，确定所述每个维度的张量分解形式。

4.根据权利要求3所述的方法，其特征在于，所述服务器根据所述多种分解式，确定所述每个维度的张量分解形式，包括：

所述服务器分别计算所述每个维度的每个分解式中各个数值的熵；

所述服务器将最大值的熵对应的分解式，确定为对应维度的张量分解形式。

5.根据权利要求3所述的方法，其特征在于，所述服务器根据所述多种分解式，确定所述每个维度的张量分解形式，包括：

所述服务器分别计算所述每个维度的每个分解式中各个数值的和；

所述服务器将最小值的和对应的分解式，确定为对应维度的张量分解形式。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述服务器根据所述每个维度的维度大小，确定所述待分解层的原始张量的张量链分解秩，包括：

所述服务器确定所述多个维度的维度大小的最小值；

所述服务器在对所述维度大小的最小值取对数后，向下取整，得到第一整数；

所述服务器根据所述第一整数，确定所述待分解层的原始张量的张量链分解秩。

7.根据权利要求6所述的方法，其特征在于，所述服务器根据所述第一整数，确定所述待分解层的原始张量的张量链分解秩，包括：

所述服务器确定小于所述第一整数的多个整数中的最大值，得到第二整数；

所述服务器计算以2为底，以所述第二整数为幂次得到的第三整数；

所述服务器将所述第三整数确定为所述待分解层的原始张量的张量链分解秩。

8.根据权利要求1-7任一项所述的方法，其特征在于，在服务器获取待压缩的模型之后，所述方法还包括：

所述服务器判断所述模型层是否适于进行张量分解；

若所述模型层适于进行张量分解，则所述服务器执行针对所述模型层中的待分解层，根据所述待分解层的原始张量中每个维度的维度大小，确定所述待分解层的原始张量的张量分解形式的步骤。

9.根据权利要求8所述的方法，其特征在于，所述服务器判断所述模型层是否适于进行张量分解，包括：

所述服务器确定所述模型层的多个维度的维度大小的最大值和最小值；

所述服务器计算所述维度大小的最大值和最小值之间的比值；

若所述比值小于预设阈值，则所述服务器判定所述模型层适于进行张量分解，否则所述服务器判定所述模型层不适于进行张量分解。