[发明专利]在线训练模型的方法、推送方法、装置以及设备

权利要求书

1.一种在线训练模型的方法，其特征在于，包括：

根据用户行为数据、用户特征以及已推荐的新闻生成训练样本，所述用户行为数据表征用户对所述新闻所实施的点击行为；

根据所述训练样本、历史模型参数和非凸正则项确定模型的目标函数，所述目标函数包括损失函数的一阶线性展开、光滑项、2范数以及非凸正则项；

利用所述训练样本计算所述损失函数的梯度；

基于所述损失函数的梯度确定所述目标函数最小的当前模型参数，根据所述当前模型参数更新模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述训练样本、历史模型参数和非凸正则项确定模型的目标函数，包括：

根据所述训练样本和历史模型参数确定所述训练样本对应的损失函数；

根据所述损失函数和非凸正则项确定模型的目标函数。

3.根据权利要求2所述的方法，其特征在于，所述损失函数包括以下任意一种函数：

对数损失函数、铰链损失函数、指数损失函数或者平方损失函数。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述非凸正则项包括以下任意一项：

平滑截断绝对偏差惩罚算子、极大极小凹惩罚算子或者加盖的L1正则项。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述模型包括以下任意一种模型：

逻辑回归分类算法模型、支持向量机算法模型、决策树算法模型或者人工神经网络算法模型。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述方法应用于分布式训练系统中，所述分布式训练系统包括：参数服务器和多个计算服务器；

则所述根据用户行为数据、用户特征以及已推荐的新闻生成训练样本，包括：

所述参数服务器根据用户行为数据、用户特征以及已推荐的新闻生成训练样本，并向计算服务器分配所述训练样本；

则所述根据所述训练样本、历史模型参数和非凸正则项确定模型的目标函数，包括：

所述计算服务器根据分配到的训练样本、历史模型参数和非凸正则项确定模型的目标函数；

则所述基于所述损失函数的梯度确定所述目标函数最小的当前模型参数，根据所述当前模型参数更新模型，包括：

所述计算服务器确定使所述目标函数最小的当前模型参数，并根据所述当前模型参数更新所述参数服务器存储的所述模型的参数。

7.根据权利要求6所述的方法，其特征在于，所述计算服务器确定使所述目标函数最小的当前模型参数，并根据所述当前模型参数更新所述参数服务器存储的所述模型的参数，包括：

所述计算服务器确定使所述目标函数最小的当前模型参数，计算所述当前模型参数与上一次迭代的历史模型参数之间的差值；

所述计算服务器向所述参数服务器上传所述差值，以使所述参数服务器根据所述差值更新所述模型的参数。

8.一种信息推送方法，其特征在于，所述方法包括：

获取目标用户的用户特征数据和目标信息的内容特征数据；

获取通过在线训练得到的当前模型参数，根据所述当前模型参数确定推送模型；所述当前模型参数是使所述推送模型的目标函数最小的参数；所述目标函数是根据训练样本、历史模型参数和非凸正则项所确定的，所述目标函数包括损失函数的一阶线性展开、光滑项、2范数以及非凸正则项，所述推送模型的训练过程包括：根据用户行为数据、用户特征以及已推荐的新闻生成训练样本，所述用户行为数据表征用户对新闻所实施的点击行为；利用训练样本计算损失函数的梯度；基于损失函数的梯度确定目标函数最小的当前模型参数，根据所述当前模型参数更新模型；

根据所述推送模型、所述用户特征数据和所述内容特征数据，计算所述目标用户对所述目标信息的感兴趣概率；

根据所述感兴趣概率确定是否向所述目标用户推送所述目标信息。

9.根据权利要求8所述的方法，其特征在于，所述非凸正则项包括以下任意一项：

平滑截断绝对偏差惩罚算子、极大极小凹惩罚算子或者加盖的L1正则项。