[发明专利]基于离线数据的策略评估方法及装置

说明书

本发明公开了一种基于离线数据的策略评估方法及装置，其中，该方法包括：获取多个行为组和待评估策略，通过估计每个行为组在待评估策略作用下的数据分布矩以作为目标分布矩；对每个行为组进行加权，并为加权后的每个行为组施加待评估策略；将施加待评估策略后的每个行为组的矩与目标分布矩的差进行最小化，得到一组最小权重，根据最小权重计算加权平均反馈，并通过加权平均反馈对待评估策略进行评估。该方法引入因果推断领域的变量平衡方法，通过对样本直接加权去除原始策略带来的数据分布偏差，用矩的差值来刻画分布的差异，解决了对模型假设的依赖问题。

技术领域

本发明涉及数据挖掘技术领域，特别涉及一种基于离线数据的策略评估方法及装置。

背景技术

基于离线数据的策略评估是应用于各类线上系统，如推荐系统、搜索引擎等，在迭代更新系统时利用原始系统的工作历史数据(包括样本的特征，策略施加的行为以及相应反馈)评估新策略的未来效果(策略在样本总体上的平均作用反馈)，以解决在线A/B测试方法周期长、成本高的问题。原始的离线评估方法主要是直接方法回归反馈函数或者对数据基于倾向性指数的加权去除偏差两类思路。而两类方法都要求有正确的关于反馈函数或者倾向性指数的模型假设。另外，基于倾向性指数的方法在去除原始策略带来的数据分布偏差时，没有考虑到新策略对数据分布引入的变化。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于离线数据的策略评估方法，该方法引入因果推断领域的变量平衡方法，通过对样本直接加权去除原始策略带来的数据分布偏差，用矩的差值来刻画分布的差异，解决了对模型假设的依赖问题。

本发明的另一个目的在于提出一种基于离线数据的策略评估装置。

为达到上述目的，本发明一方面实施例提出了一种基于离线数据的策略评估方法，包括：获取多个行为组和待评估策略，通过估计每个行为组在所述待评估策略作用下的数据分布矩以作为目标分布矩；对所述每个行为组进行加权，并为加权后的每个行为组施加所述待评估策略；将施加所述待评估策略后的每个行为组的矩与所述目标分布矩的差进行最小化，得到一组最小权重，根据所述最小权重计算加权平均反馈，并通过所述加权平均反馈对所述待评估策略进行评估。

本发明实施例的基于离线数据的策略评估方法，基于变量平衡的策略评估，引入因果推断领域的变量平衡方法，通过对样本直接加权来去除数据中原始策略带来的数据分布偏差，使得历史数据中各个行为组(被施加相同行为的样本集合)加权去除偏差后再施加新策略引入变化的数据分布与原始数据(未引入偏差的样本总体)施加新策略引入变化后的数据分布达到矩平衡。对历史数据中的所有样本反馈，根据去除偏差的权重和新策略施加所属行为组的行为的概率的乘积进行加权平均，得到新策略的估计效果。

另外，根据本发明上述实施例的基于离线数据的策略评估方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，将当前策略通过样本数据产生的历史数据中的各个样本，根据所述当前策略施加的行为分为所述多个行为组。

进一步地，在本发明的一个实施例中，所述S2，进一步包括：

对所述每个行为组的样本加权，以使所述每个行为组去除数据分布偏差后再施加所述待评估策略后的数据分布与所述样本数据直接施加所述待评估策略后的数据分布达到矩平衡。

进一步地，在本发明的一个实施例中，所述S3，进一步包括：

将所述每个行为组乘以权重和所述待评估策略施加所述每个行为组概率后的矩与所述目标分布矩的向量的欧式距离作为优化目标，通过梯度下降的方法得到所述最小权重，将所述最小权重与所述待评估策略下所述每个行为组的概率作乘积来计算所述加权平均反馈，并通过所述加权平均反馈对所述待评估策略进行评估。