[发明专利]预测点击概率的方法、装置、电子设备及可读存储介质

权利要求书

1.一种预测点击概率的方法，其特征在于，所述方法包括：

获得已显示对象的参数信息，所述已显示对象的参数信息至少包括该已显示对象的类型，所述已显示对象的用户操作信息至少包括该已显示对象是否被用户点击；

根据待显示对象的参数信息和点击概率预测模型，预测所述待显示对象的点击概率；

其中，所述点击概率预测模型以各历史已显示对象的参数信息下的历史用户操作信息的期望值为奖励函数，以所述各历史已显示对象的参数信息为状态输入，以所述各历史已显示对象的参数信息的点击概率为行动输出。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

分别确定所述各历史已显示对象的累计奖励期望值，其中，所述各历史已显示对象的累计奖励期望值是根据包括当前已显示对象在内的多个历史已显示对象的用户操作信息确定的；

在所述当前显示对象的累计奖励期望值大于任一历史已显示对象的累计奖励期望值的情况下，以所述当前显示对象的参数信息和用户操作信息为训练样本，对所述点击概率预测模型进行训练更新。

3.根据权利要求2所述的方法，其特征在于，确定所述当前显示对象的累计奖励期望值，包括：

将包括所述当前显示对象在内的多个历史已显示对象的用户操作信息，分别输入预设奖励函数，以得到包括所述当前显示对象在内的多个历史已显示对象的奖励值；

根据包括所述当前显示对象在内的多个历史已显示对象的奖励值，确定所述当前显示对象的累计奖励期望值。

4.根据权利要求3所述的方法，其特征在于，所述已显示对象的用户操作信息还包括：所述已显示对象在预设显示区域内持续曝光的时间；

将包括所述当前显示对象在内的多个历史已显示对象的用户操作信息，分别输入预设奖励函数，以得到包括所述当前显示对象在内的多个历史已显示对象的奖励值，包括：

针对包括所述当前显示对象在内的多个历史已显示对象中的每个历史已显示对象，按照以下公式，确定该历史已显示对象的奖励值：

R＝R₁+aR₂

其中，R表示该历史已显示对象的奖励值，R₁表示该历史已显示对象是否被用户点击，a表示预设权重，R₂表示该历史已显示对象样本显示对象在所述预设显示区域内持续曝光的时间。

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

对多个所述待显示对象的点击概率进行预测，并将预测得到的点击概率大于预设概率的待显示对象发送给显示终端。

6.根据权利要求5所述的方法，其特征在于，将预测得到的点击概率大于预设概率的待显示对象发送给显示终端，包括：

将所述多个待显示对象按照点击概率降序发送给所述显示终端。

7.一种预测点击概率的装置，其特征在于，所述装置包括：

获得模块，用于获得已显示对象的参数信息，所述已显示对象的参数信息至少包括该已显示对象的类型，所述已显示对象的用户操作信息至少包括该已显示对象是否被用户点击；

预测模块，用于根据待显示对象的参数信息和点击概率预测模型，预测所述待显示对象的点击概率；

其中，所述点击概率预测模型以各历史已显示对象的参数信息下的历史用户操作信息的期望值为奖励函数，以所述各历史已显示对象的参数信息为状态输入，以所述各历史已显示对象的参数信息的点击概率为行动输出。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

确定模块，用于分别确定所述各历史已显示对象的累计奖励期望值，其中，所述各历史已显示对象的累计奖励期望值是根据包括当前已显示对象在内的多个历史已显示对象的用户操作信息确定的；

训练模块，用于在所述当前显示对象的累计奖励期望值大于任一历史已显示对象的累计奖励期望值的情况下，以所述当前显示对象的参数信息和用户操作信息为训练样本，对所述点击概率预测模型进行训练更新。