[发明专利]优化的机器学习系统

说明书

用于优化机器学习系统的方法、系统和设备，包括编码在计算机存储介质上的计算机程序。在一个方面中，一种方法包括确定机器学习系统(“MLS”)的平均误差。定义提供本应使用给定参数的指定值实现的成果(result)的评估函数。定义基于所述MLS的所述误差为先验事件提供期望成果的期望结果(outcome)函数。针对多个先验事件中的每一个先验事件，例如使用所述期望结果函数来确定所述给定参数的目标值。模型是基于所述先验事件的特征和针对所述先验事件所述给定参数的所确定的目标值使用所述MLS来生成的。针对新事件基于所述模型对该新事件的特征的应用向所述给定参数指派值。

相关申请的交叉引用

本申请根据35U.S.C§119(e)要求2016年8月15日提交的标题为“OPTIMIZEDMACHINE LEARNING SYSTEM”的美国专利申请No.62/375,091和2016年11月15日提交的标题为“OPTIMIZED MACHINE LEARNING SYSTEM”的美国专利申请No.15/352,318的权益。上述申请的公开内容通过引用整体地并入在本文中以用于所有目的。

背景技术

本说明书涉及机器学习系统的数据处理和优化。

互联网促进信息和交易跨越全球在用户之间的交换。信息的这个交换使得能够向各种用户分发内容。在一些情形下，可将来自多个不同的提供者的内容集成到单个电子文档中以创建复合文档。例如，包括在电子文档中的内容的一部分可以由电子文档的发布者选择(或者指定)。内容(例如，数字第三方内容)的不同部分可由第三方(例如，不是电子文档的发布者的实体)来提供。在一些情形下，在用户已经请求了电子文档的呈现之后第三方内容被选择用于与电子文档集成。例如，当电子文档被呈现在用户装置处时包括在电子文档中的机器可执行指令可由用户装置执行，并且所述指令可使得用户装置能够联系一个或多个远程服务器以获得将被集成到电子文档中的第三方内容。

发明内容

一般而言，在本说明书中描述的主题的一个创新方面可用方法加以具体实现，所述方法包括：确定机器学习系统的平均误差；定义在先验事件中提供本应使用给定参数的指定值实现的成果(result)的评估函数；定义基于所述机器学习系统的所述误差为先验事件提供期望成果的期望结果(outcome)函数；针对多个先验事件中的每一个先验事件，确定使所述期望结果函数为所述先验事件提供指定的输出的所述给定参数的目标值；基于所述先验事件的特征和针对所述先验事件所确定的所述给定参数的目标值使用所述机器学习系统来生成模型；针对新事件基于所述模型对该新事件的特征的应用来向所述给定参数指派值；基于所述给定参数的所指派的值和由第三方内容提供者提交的选择值来选择用于分发给客户端装置的第三方内容；以及通过网络将所选择的第三方内容分发给所述客户端装置。其它方面包括对应的系统、装置和计算机可读介质。

这些和其它实施例可每个可选地包括以下特征中的一个或多个。定义所述评估函数可包括将所述评估函数定义为提供输出，所述输出指定如果指定的阈值资格值已经用于选择第三方内容则本应实现的收益量。

方法可包括评估由第三方针对一个或多个先验请求中的每一个先验请求所提交的选择值，其中，针对每个请求，所述评估函数在尚没有第三方提交满足所述阈值资格值的选择值时提供零的输出，在单个第三方提交了满足所述阈值资格值的提交值时提供所述阈值资格值的输出，并且在多个第三方提交了满足所述阈值资格值的提交值时提供大于所述阈值资格值的输出。

定义所述期望结果函数可包括定义输出本应针对给定请求在所述机器学习系统的所述误差使实际阈值资格值高于或者低于针对该给定请求的给定阈值资格值、但是所述误差不防止第三方内容响应于所述给定请求的分发时实现的收益量的所述期望结果函数。

确定所述给定参数的所述目标值可包括确定使由所述期望结果函数输出的所述收益最大化的阈值资格值。将所述值指派给所述给定参数可包括从所述模型输出将被用于响应于所述请求而提供的第三方内容的选择的所述阈值资格值。选择用于分发的第三方内容可包括选择具有等于或者超出由所述模型输出的所述阈值资格值的选择值的内容。