[发明专利]策略的评估方法、装置和设备

权利要求书

1.一种策略的评估方法，其特征在于，包括：

根据抽样用户对应的第一上线资源推荐列表，确定与待评估策略对应的目标离线资源推荐列表，所述第一上线资源推荐列表为待评估策略上线之后得到的资源列表，所述抽样用户的用户分布与线上用户的用户分布一致；

根据目标用户知识库，确定所述抽样用户中各个用户的用户特征，所述目标用户知识库为根据所有使用所述待评估策略的线上用户在使用所述待评估策略之前的第一用户反馈行为确定的；

根据各个所述用户的用户特征以及所述目标离线资源推荐列表中各个资源，确定所述待评估策略对应的收益评估指标，其中，所述收益评估指标用于对所述目标离线资源推荐列表中资源的用户反馈行为进行评估；

将所述收益评估指标发送给终端设备；

所述根据抽样用户对应的第一上线资源推荐列表，确定与待评估策略对应的目标离线资源推荐列表，包括：

根据所述第一上线资源推荐列表，确定第一护栏指标，所述第一护栏指标用于对所述第一上线资源推荐列表中资源的排序以及召回进行评估；

根据初始离线资源推荐列表，确定第二护栏指标，所述第二护栏指标用于对所述初始离线资源推荐列表中资源的排序以及召回进行评估；

若所述第一护栏指标和所述第二护栏指标之间的差异值大于第一预设阈值，则对所述初始离线资源推荐列表进行调整，并将调整后的初始离线资源推荐列表确定为所述目标离线资源推荐列表，其中，所述调整后的初始离线资源推荐列表对应的第三护栏指标和所述第一护栏指标之间的差异值不大于所述第一预设阈值；

若所述第一护栏指标和所述第二护栏指标之间的差异值不大于所述第一预设阈值，则将所述初始离线资源推荐列表确定为所述目标离线资源推荐列表。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所有使用所述待评估策略的线上用户，确定第二上线资源推荐列表；

根据所述第二上线资源推荐列表，确定所有使用所述待评估策略的线上用户在使用所述待评估策略之前的第一用户反馈行为；

根据所述第一上线资源推荐列表和初始用户知识库，确定所述抽样用户对应的第二用户反馈行为；

根据所述第一用户反馈行为和所述第二用户反馈行为，确定所述目标用户知识库。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一用户反馈行为和所述第二用户反馈行为，确定所述目标用户知识库，包括：

若所述第一用户反馈行为和所述第二用户反馈行为之间的差异值大于第二预设阈值，则对所述初始用户知识库进行调整，并将调整后的初始用户知识库确定为所述目标用户知识库，其中，所述调整后的初始用户知识库对应的第三用户反馈行为和所述第一用户反馈行为之间的差异值不大于所述第二预设阈值；

若所述第一用户反馈行为和所述第二用户反馈行为之间的差异值不大于第二预设阈值，则将所述初始用户知识库确定为所述用户知识库。

4.根据权利要求1所述的方法，其特征在于，所述根据各个所述用户的用户特征以及所述目标离线资源推荐列表中各个资源，确定所述待评估策略对应的收益评估指标，包括：

根据各个所述用户的用户特征以及所述目标离线资源推荐列表中各个资源，通过目标评价算法确定所述待评估策略对应的收益评估指标，所述目标评价算法为根据所述用户的用户特征确定的。

5.根据权利要求1所述的方法，其特征在于，所述根据各个所述用户的用户特征以及所述目标离线资源推荐列表中各个资源，确定所述待评估策略对应的收益评估指标，包括：

根据各个所述用户的用户特征以及所述目标离线资源推荐列表中各个资源的资源特征，预测各个所述用户对各个所述资源的用户反馈行为；

对各个所述用户对各个所述资源的所述用户反馈行为进行统计，得到统计结果；

根据所述统计结果，确定所述待评估策略对应的所述收益评估指标。