[发明专利]离线反事实分析

权利要求书

1.一种利用离线反事实分析产生估计的系统性能的方法，执行步骤包括：

把随机干扰加入系统的组件（164,264）的原始输出（165）以产生被干扰输出（265），其中由一个或者多个计算装置实现该系统并且其中进一步地该系统的组件（164,264）包括一组计算机可执行指令，该计算机可执行指令接收一个或者多个输入（162,163）并根据由该组计算机可执行指令实现且包括可修改参数的模型产生原始输出（165）；

为该系统的操作的每个实例收集数据（240），所收集的数据（240）包括所述一个或者多个输入（162,163）、被干扰的输出（265），以及对于该实例系统的操作的一个或者多个结果（155），其中从该一个或者多个结果（155）中推导该系统的性能；

获得用于该系统的组件的一个或者多个反事实参数；

产生非零的重新加权因子；

如果该组件（164,264）利用了包括该反事实参数的反事实模型，则在被干扰的输出（265）与原本会由组件（164,264）产生的预期输出匹配时，用该非零的重新加权因子对所收集的数据（240）重新加权以强调所收集的数据；以及

如果该组件（164,264）已经利用了包括该反事实参数的该反事实模型，则用被重新加权的数据产生对于该系统的性能将会是什么样的估计。

2.根据权利要求1的方法，其中被干扰的输出依照以该原始输出为中心的概率分布而变化。

3.根据权利要求1的方法，其中基于该组件利用了包括该反事实参数的反事实模型的情形下该组件的被干扰的输出的预测的概率分布与该组件的被干扰的输出的概率分布之间的比率而产生该非零的重新加权因子。

4.根据权利要求1的方法，进一步包括步骤：如果该一个或者多个所获得的反事实参数与在收集数据期间利用的相应参数在本质上不同，则产生指示对于该模型中的递增变化系统的性能的变化的大小和方向的矢量；其中如果该一个或者多个所获得的反事实参数与在收集数据期间利用的相应参数在本质上并无不同，则仅执行重新加权所收集的数据以及产生该估计。

5.根据权利要求4的方法，其中产生该矢量包括基于该被干扰的输出的概率分布的算法关于该模型中的变化的导数而产生该矢量。

6.根据权利要求1的方法，其中：该系统是广告呈现系统；该组件是广告质量分数确定组件；该被干扰的输出是为了产生广告评级而提供给广告评级组件的广告质量分数，其中根据该广告评级来选择要呈现的广告；以及该系统的性能基于因为用户选择由该广告呈现系统呈现的广告而收到的报酬。

7.根据权利要求6的方法，其中该广告呈现系统包括搜索引擎；且其中进一步地该广告质量分数确定组件的一个或者多个输入包括为之产生质量分数的广告的广告内容和搜索查询，被选择的广告与响应于该搜索查询的搜索结果一起呈现。

8.一种或多种计算机可读介质，包括用于执行权利要求1的步骤的计算机可执行指令。