[发明专利]高阶LR模型的训练优化方法、装置、设备及存储介质

说明书

本发明实施例公开了一种高阶LR模型的训练优化方法、装置、设备及存储介质。所述方法使用分布式的方式实现，包括：管理设备根据初始训练数据，生成高阶LR基础配置文件；所述管理设备向至少两个处理设备分发所述高阶LR基础配置文件以及对应的目标训练数据，以使各所述处理设备分布式的使用所述高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征；所述管理设备获取各所述处理设备处理得到的交叉特征后，将各所述交叉特征分别输入至训练模型中，以对训练模型进行参数调优。本发明实施例的技术方案，实现了分布式模型训练，节省模型训练的时间，提升算法的性能。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种高阶LR模型的训练优化方法、装置、设备及存储介质。

背景技术

随着电商的普及，数据量迅速增加，人们对数据进行准确筛选的难度越来越大，因此，可以从大量数据中筛选并推荐所需数据的推荐系统受到人们的欢迎，在电商中已经是一种必备的重要系统。

目前，高阶逻辑回归(Logistic Regression,LR)算法是推荐系统进行模型训练的流行算法，现有的根据高阶LR算法进行模型训练的过程比较复杂，并且所有的步骤都是单机串行完成，还需要人工在windows端生成高阶过程的配置文件。由于高阶LR算法的配置文件中涉及的参数众多，不同场景不同的数据，最优模型需求的配置都不相同，因此，在人工手动输入时极易出错，再加上测试时间比较长，查错通常需要好几个小时，因此，工作人员不得不花更多的时间去修改缺陷和问题，调整参数。

发明内容

本发明实施例提供一种高阶LR模型的训练优化方法、装置、设备及存储介质，以实现分布式模型训练，节省模型训练的时间，提升算法的性能。

第一方面，本发明实施例提供了一种高阶LR模型的训练优化方法，所述方法使用分布式的方式实现，包括：

管理设备根据初始训练数据，生成高阶LR基础配置文件；

所述管理设备向至少两个处理设备分发所述高阶LR基础配置文件以及对应的目标训练数据，以使各所述处理设备分布式的使用所述高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征；

所述管理设备获取各所述处理设备处理得到的交叉特征后，将各所述交叉特征分别输入至训练模型中，以对训练模型进行参数调优。

可选的，管理设备根据初始训练数据，生成高阶LR基础配置文件，包括：

所述管理设备确定初始训练数据中待离散的特征，并生成对应的离散配置信息填入所述高阶LR基础配置文件；

所述管理设备确定初始训练数据中待高阶交叉的特征，并生成对应的交叉配置信息填入所述高阶LR基础配置文件；

所述管理设备确定分配给各处理设备的目标训练数据，并生成对应的资源分配信息填入所述高阶LR基础配置文件。

第二方面，本发明实施例还提供了一种高阶LR模型的训练优化方法，所述方法使用分布式的方式实现，包括：

处理设备接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据，其中，所述高阶LR基础配置文件为所述管理设备根据初始训练数据生成的；

所述处理设备根据所述高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征；

所述处理设备对所述离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使所述管理设备从数据库中获取各所述处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优。

可选的，离散配置信息包括待离散的特征以及离散处理规则；