[发明专利]策略的评估方法、装置和设备

说明书

本申请公开了一种策略的评估方法、装置和设备，涉及大数据技术领域。具体实现方案为：根据第一上线资源推荐列表，确定与待评估策略对应的目标离线资源推荐列表，第一上线资源推荐列表为待评估策略上线之后得到的资源列表；根据目标用户知识库，确定抽样用户中各个用户的用户特征，目标用户知识库为根据所有使用待评估策略的线上用户在使用所述待评估策略之前的第一用户反馈行为确定的；根据各个用户的用户特征以及目标离线资源推荐列表中各个资源，确定待评估策略对应的收益评估指标；将收益评估指标发送给终端设备。可以看出，本申请实施例可以提高待评估策略对应的收益评估指标预测的准确性。

技术领域

本申请涉及数据处理领域，尤其涉及大数据技术领域。

背景技术

目前，互联网信息流产品的应用越来越广泛，信息流产品通常采用某种推荐算法或推荐策略向用户推荐相关内容，如何对推荐算法或推荐策略的效果进行评估是较为关注的焦点。

目前，针对一个推荐策略，通过在线控制小流量实验的方式来对该推荐策略进行评估。在线控制小流量实验(又称AB测试小流量评估实验)是指随机选取一定比例的用户(流量)，将选取的用户分为两组，称为A组、B组。其中，让A组用户使用该推荐策略上线前即迭代前的信息流产品，让B组用户使用该推荐策略上线后即迭代后的信息流产品，并对A组用户和B组用户使用信息流产品的反馈行为数据进行存储，基于两组用户的反馈行为数据，对该推荐策略上线后的效果进行评估。

然而，随着信息流产品变得越来越复杂，且优化算法或策略逐渐增多，策略的调整越来越精细化，导致线上小流量实验的流量流转周期变长，大幅降低了研发效率。

发明内容

本申请实施例提供一种策略的评估方法、装置和设备，可以提高待评估策略对应的收益评估指标预测的准确性。

第一方面，本申请实施例提供策略的评估方法，该方法包括：

根据抽样用户对应的第一上线资源推荐列表，确定与待评估策略对应的目标离线资源推荐列表，所述第一上线资源推荐列表为待评估策略上线之后得到的资源列表，所述抽样用户的用户分布与线上用户的用户分布一致；

根据目标用户知识库，确定所述抽样用户中各个用户的用户特征，其中，所述抽样用户的用户分布与线上用户的用户分布一致，所述目标用户知识库为根据所有使用所述待评估策略的线上用户在使用所述待评估策略之前的第一用户反馈行为确定的；

根据各个所述用户的用户特征以及所述目标离线资源推荐列表中各个资源，确定所述待评估策略对应的收益评估指标，其中，所述收益评估指标用于对所述目标离线资源推荐列表中资源的用户反馈行为进行评估；

将所述收益评估指标发送给终端设备。

可以看出，本申请实施例中，一方面，在离线状态下，可以结合用户特征以及待评估策略对应的目标离线资源推荐列表，对待评估策略进行快速评估，无需直接上线真实的小流量实验，能够降低线上流量流转周期，不断提升线下调研的效率，降低研发成本；而且在对策略进行充分评估之后再上线新策略，能够提高用户体验以及用户忠诚度，避免用户流失。另一方面，由于目标离线资源推荐列表是根据待评估策略上线之后抽样用户推荐的真实的第一上线资源推荐列表得到的，该目标离线资源推荐列表可以尽可能的减小线上用户真实的资源推荐列表和离线环境中得到的资源推荐列表之间的差异，而且目标用户知识库是根据所有使用待评估策略的线上用户在使用该待评估策略之前的真实的第一用户反馈行为确定的，这样在评估结果不准确时，可以精确的定位到导致评估结果不准确的原因。再一方面，根据上述方式得到目标离线资源推荐列表和目标用户知识库之后，在线下对新上线的策略进行评估时，可以提高评估的准确性。

第二方面，本申请实施例还提供一种策略的评估装置，该装置包括：