[发明专利]模型参数表示空间大小估计方法及装置、推荐方法

权利要求书

1.一种模型参数表示空间大小估计方法，其特征在于，包括：

获取目标模型的目标参数向量；

统计目标参数向量之间的距离分布；

根据所述距离分布确定所述目标参数向量做聚类的目标阈值；

根据所述目标阈值和目标参数向量之间的距离，估计所述目标模型的参数向量的表示空间大小；

其中，获取目标模型的目标参数向量，包括：

在多台服务器上并行训练所述目标模型，以使所述目标模型达到稳定状态；

在每台服务器上保存所述目标模型的部分模型参数；

采样所述多台服务器中的全部服务器上的模型参数或部分服务器上的部分模型参数作为所述目标参数向量。

2.根据权利要求1所述的方法，其特征在于，统计目标参数向量之间的距离分布，包括：

统计目标参数向量之间的距离的第一分布；

根据不同阈值分别对目标参数向量做聚类；

分别统计根据不同阈值做聚类后的目标参数向量之间的距离的第二分布。

3.根据权利要求2所述的方法，其特征在于，根据所述距离分布确定所述目标参数向量做聚类的目标阈值，包括：

分别计算不同阈值下所述第一分布和所述第二分布的相对熵，获得相对熵随阈值变化曲线；

根据所述相对熵阈值变化曲线确定所述目标阈值。

4.根据权利要求3所述的方法，其特征在于，根据所述相对熵阈值变化曲线确定所述目标阈值，包括：

获得所述相对熵阈值变化曲线的一阶导数曲线；

获取所述一阶导数曲线的平滑阶段；

选取所述平滑阶段对应的阈值作为所述目标阈值。

5.根据权利要求1所述的方法，其特征在于，根据所述目标阈值和目标参数向量之间的距离，估计所述目标模型的参数向量的表示空间大小，包括：

统计目标参数向量之间的距离小于所述目标阈值的比例；

根据所述比例估计所述表示空间大小。

6.根据权利要求5所述的方法，其特征在于，根据以下公式估计所述表示空间大小K：

上述公式中，p为所述比例。

7.根据权利要求1所述的方法，其特征在于，所述目标模型包括嵌入层和深度神经网络；所述方法还包括：

获取所述嵌入层的长度；

根据所述嵌入层的长度和所述表示空间大小确定所述嵌入层的参数向量的量化比特数。

8.一种推荐方法，其特征在于，包括：

获取目标客户端的当前用户特征和当前信息特征；

通过基于深度学习的目标模型对所述当前用户特征和所述当前信息特征进行处理，获得推荐信息以发送至所述目标客户端；

其中，所述目标模型的参数向量根据估计的表示空间大小进行量化压缩，利用如权利要求1至7任一项所述的方法估计所述目标模型的参数向量的表示空间大小。

9.一种模型参数表示空间大小估计装置，其特征在于，包括：

目标参数获取模块，配置为获取目标模型的目标参数向量；

距离分布统计模块，配置为统计目标参数向量之间的距离分布；

目标阈值确定模块，配置为根据所述距离分布确定所述目标参数向量做聚类的目标阈值；

空间大小估计模块，配置为根据所述目标阈值和目标参数向量之间的距离，估计所述目标模型的参数向量的表示空间大小；

其中，所述目标参数获取模块包括：

模型训练单元，配置为在多台服务器上并行训练所述目标模型，以使所述目标模型达到稳定状态；

参数存储单元，配置为在每台服务器上保存所述目标模型的部分模型参数；

参数采样单元，配置为采样所述多台服务器中的全部服务器上的模型参数或部分服务器上的部分模型参数作为所述目标参数向量。