[发明专利]一种面向收益提升的无偏学习排序方法

说明书

本发明公开了一种面向收益提升的无偏学习排序方法，基于有偏的用户点击日志数据，直接优化一个无偏的效益指标。首先学习了一个位置敏感的点击率预估模型，建模不同特征的查询‑文档对在不同位置下的点击率，得到的用户效益的无偏估计，基于lambdaloss的学习框架提出了一个基于lambdaloss的目标函数来直接优化用户效益的无偏估计，通过学习一个打分函数可以将测试阶段的复杂度降低到O(N)。理论分析证明该目标函数可以优化目标效益的一个有效上界。本发明在三个公开数据集上都证明了该方法的有效性，可以被用于列表推荐，网页搜索，广告系统等场景。

技术领域

本发明涉及信息检索领域，尤其涉及一种无偏机器学习排序的方法。

背景技术

学习排序(Learning to rank)是信息检索领域的经典问题，也是互联网搜索、推荐等业务场景的核心任务。传统的学习排序方法依赖显式的相关性反馈，这种显式的反馈通常需要来自人类专家的标注，而且是非个性化的。而在个性化的搜索、推荐等场景下，人工标注的数据是非常昂贵、难于获得的。同时，隐式反馈(implicit feedback)，比如用户的点击日志，作为一种廉价、即时、以用户为中心的替代，也被广泛地应用在搜索、推荐等场景下。然而，用户点击日志受到具体的展示方式的影响，最主要的是展示的位置带来的偏差，位置偏差(Position bias)，导致其不能直接准确地反应物品的相关性。传统的学习排序方法被更多地用在网页搜索的场景中。一些针对于网页搜索的用户点击模型，以及基于此的反事实学习的方法，都通过对用户浏览行为的不同假设来解决点击日志和真实的相关性反馈之间的不匹配，从而使得排序的结果仍然能够按照他们的相关性概率降序排列。

在一个实际的推荐系统中，通常可以被建模成一个指定查询和上下文的排序问题。以电影推荐为例，查询指的是用户过往的观看历史，而上下文指的是时间，使用的设备这一类特征。通过这种建模方式，一个列表推荐推荐系统，我们可以通过一些学习排序的方法来解决，这在传统的网页搜索的框架里已经被研究地很好了。但是在这样的一个系统中，却又会产生一些更加复杂的用户行为模式，从而带来一些新的挑战。在这样的一个实际系统中，我们有三点最中心的考虑，首先是我们需要很好的解决由于展示方式带来的数据偏差，第二点是我们希望学习目标能够更加的接近真实场景下的一些收益指标，比如点击率、转化率等，第三点是实际应用的过程中，我们希望最终上线的模型能够有高效率和低时延。我们希望设计一个系统能够满足以上的三点要求，兼顾无偏性、目标导向和效率。

(一)分析近期关于无偏机器学习排序的研究

近期来，专家和学者围绕解决如何学习一个无偏的机器学习排序，提出了一系列基于反事实学习的方法。Wang等在网络搜索与数据挖掘国际会议信息检索国际会议Special Interest Group on Information Retrieval(SIGIR 2016年第39届)上发表的Learning to Rank with Selection Bias in Personal Search，以及Joachims等在网络搜索与数据挖掘国际会议International Conference on Web Search and Data Mining(WSDM2017年第10届)上发表的Unbiased Learning-to-Rank with Biased Feedback，都基于线上随机交换实验估计排序位置带来的影响，然后利用倾向度的逆向加权(InversePropensity Weighting)来修正位置偏差。然而，这些方法需要基于线上的随机交换实验，这无疑牺牲了用户体验，影响平台收益。