[发明专利]用于优化用于学习排序的非凸函数的新探索

说明书

技术领域

本文公开的主题一般涉及数据的处理。具体而言，本公开一般涉及用于在排序（ranking）任务中训练模型的技术。此外，本公开涉及用于使能用于在搜索查询中优化搜索结果排序的机器学习技术的方法、系统和计算机程序产品。

背景技术

学习排序是指用于在排序任务中训练排序模型的机器学习技术。排序任务可包括搜索请求（例如名称搜索）、信息检索、自然语言处理和数据挖掘。

另外，可训练排序模型，以应用用于排序搜索结果的机器学习。例如，学习排序可在排序模型的结构中为搜索查询的搜索结果应用机器学习。

搜索结果可包括一列项目，该项目具有在每列中的项目之间指定的某种次序。该次序可基于排序模型。排序模型基于算法确定相关的项目。算法在搜索查询中使用搜索特征计算项目的相关性。搜索特征可由排序模型经由搜索算法使用和修改，以在搜索查询中确定项目的相关性。

附图说明

在附图的图中通过示例的方式而非限制地图示一些实施例。

图1是根据一些示例性实施例的图示适合于社交网络的网络环境的网络图。

图2是根据一些实施例的图示社交网络服务的各种模块的框图。

图3是根据一些示例性实施例的图示搜索算法的流程图。

图4-6是根据一些示例性实施例的图示在执行300的方法中的搜索模块的操作的流程图。

图7是根据一些示例性实施例的图示机器的组件的框图，所述机器能够从机器可读介质读取指令并执行本文所讨论的方法中的任何一个或多个。

具体实施方式

示例性方法和系统针对用于通过使用搜索特征训练排序模型来改进搜索结果的技术。更具体而言，本公开涉及用于使用搜索特征的机器学习技术的方法、系统和计算机程序产品以用于优化排序搜索查询的搜索结果。

一些实施例可使用与社交网络服务相关联的搜索特征来优化搜索结果的排序。使用机器学习技术，可确定每个搜索特征的权重因子以返回更特定于用户的搜索结果。

示例仅仅例示可能的变化。除非另有明确说明，否则组件和功能是可选的，并且可被组合或划分，并且操作可顺次变化或被组合或细分。在以下描述中，出于解释的目的，阐述许多具体的细节，以提供示例性实施例的全面理解。然而，对本领域技术人员将明显的是：可以没有这些具体细节地实施本主题。

学习排序

如先前所提及，学习排序可以在各种各样的应用（诸如信息检索、语言处理和数据挖掘）中使用。典型的应用包括文档检索、网络（web）搜索、定义搜索、协同过滤、问答、关键短语提取、文档摘要和机器翻译。

在网络搜索示例中，机器学习技术可基于搜索特征构造排序模型。另外，大量搜索日志数据（例如通过数据点击）可被积累为训练数据。可从用于更精确地确定权重因子的搜索日志数据中导出训练数据。因此，搜索日志数据（例如通过数据点击，PageRank得分）可用作训练数据，以确定每个搜索特征的相关性。此外，使用训练数据，机器学习技术可为每个搜索特征将权重因子合并到排序模型中，以便构造排序模型。

用于为名称搜索排序的逻辑回归

用于诸如名称搜索之类的搜索请求的当前实现方式可使用具有L₂正则化的逻辑回归，以防止对于训练数据过度拟合。L₂正则化方法可用于模型选择，特别是通过调节到具有极端参数值的模型而防止过度拟合。L₂正则化可被添加到学习算法，以通过最小化E(X,Y)+α‖w‖而最小化损失函数，诸如E(X,Y)。w是模型的权重向量，‖·‖是平方L₂范数，而α是可被凭经验调整（例如通过交叉验证）的自由参数。当在线性回归中应用时，L₂正则化也可以被称为权重衰变。

逻辑回归可将条件概率建模为：，其中x和w是向量。

另外，给定二等训练数据（例如；；以及），具有L₂正则化的逻辑回归的传统损失函数是。

此外，具有L₂正则化的逻辑回归的传统损失函数是凸函数。下面进一步描述的凸函数可具有多个局部最小值和一个实际最小值。因此，由于多个局部最小值，传统的优化技术可能错误地确定局部最小值是最优解。

凸函数

作为背景，在至少两维的向量空间中，如果函数图上的任何两点之间的线段位于图上方，在间隔上定义的实值函数f(x)被认为是凸的。例如，对于任何实数x，公知的凸函数是二次函数f(x)=x²。