[发明专利]模型参数表示空间大小估计方法及装置、推荐方法

说明书

本公开的实施例提供了一种模型参数表示空间大小估计方法及装置、推荐方法、计算机可读介质及电子设备，属于计算机技术领域。所述模型参数表示空间大小估计方法包括：获取目标模型的目标参数向量；统计目标参数向量之间的距离分布；根据所述距离分布确定所述目标参数向量做聚类的目标阈值；根据所述目标阈值和目标参数向量之间的距离，估计所述目标模型的参数向量的表示空间大小。本公开实施例的技术方案提供了一种基于聚类的参数空间大小估计技术，为模型参数进行量化压缩提供了定量标准，使调整这一参数的过程变得更为准确、高效和快速。

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种模型参数表示空间大小估计方法、一种模型参数表示空间大小估计装置、一种推荐方法、一种计算机可读介质及电子设备。

背景技术

在大规模机器学习场景下，模型参数规模往往可达亿级，模型大小可达百G级，这给模型的存储、传输与使用都带来了极大的挑战。对模型参数进行量化压缩是较为主流的模型压缩方法之一，但是对压缩比特数/量化比特数的选择往往只能根据不同超参数(hyperparameters，例如学习速率、训练迭代次数、神经网络层数、各层神经元个数、激活函数等)下的实验结果来选择较为合适的值。

即相关技术中，量化比特数的选择往往依赖经验或者通过反复调参来选择较为合适的值，调参过程复杂，验证周期较长，计算量大，缺少快速寻找合适值的技术手段与理论依据。

因此，需要一种新的模型参数表示空间大小估计方法及装置、推荐方法、计算机可读介质及电子设备。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例提供一种模型参数表示空间大小估计方法及装置、推荐方法、计算机可读介质及电子设备，能够为模型参数进行量化压缩提供定量标准，使调整这一参数的过程变得更为准确、快速和高效。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种模型参数表示空间大小估计方法，包括：获取目标模型的目标参数向量；统计目标参数向量之间的距离分布；根据所述距离分布确定所述目标参数向量做聚类的目标阈值；根据所述目标阈值和目标参数向量之间的距离，估计所述目标模型的参数向量的表示空间大小。

在本公开的一种示例性实施例中，获取目标模型的目标参数向量，包括：在多台服务器上并行训练所述目标模型，以使所述目标模型达到稳定状态；在每台服务器上单独保存一个模型分片；采样所述多台服务器中的其中一个模型分片，将采样的模型分片的参数向量作为所述目标参数向量。

在本公开的一种示例性实施例中，统计目标参数向量之间的距离分布，包括：统计目标参数向量之间的距离的第一分布；根据不同阈值分别对目标参数向量做聚类；分别统计根据不同阈值做聚类后的目标参数向量之间的距离的第二分布。

在本公开的一种示例性实施例中，根据所述距离分布确定所述目标参数向量做聚类的目标阈值，包括：分别计算不同阈值下所述第一分布和所述第二分布的相对熵，获得相对熵随阈值变化曲线；根据所述相对熵阈值变化曲线确定所述目标阈值。

在本公开的一种示例性实施例中，根据所述相对熵阈值变化曲线确定所述目标阈值，包括：获得所述相对熵阈值变化曲线的一阶导数曲线；获取所述一阶导数曲线的平滑阶段；选取所述平滑阶段对应的阈值作为所述目标阈值。

在本公开的一种示例性实施例中，根据所述目标阈值和目标参数向量之间的距离，估计所述目标模型的参数向量的表示空间大小，包括：统计目标参数向量之间的距离小于所述目标阈值的比例；根据所述比例估计所述表示空间大小。

在本公开的一种示例性实施例中，根据以下公式估计所述表示空间大小K：