[发明专利]搜索排序监控方法和系统

权利要求书

1.一种搜索排序监控方法，包括：

获取当前线上搜索排序结果；

基于所述当前线上搜索排序结果计算当前搜索评价指标；

将算出的当前搜索评价指标与在前获取的基准搜索评价指标相比较以得到搜索评价指标；以及

至少基于所述搜索评价指标生成监控结果，

其中，所述方法还包括：

统计并获取信号依赖指标，所述信号依赖指标是搜索算法依赖的信号的统计分类指标；

基于搜索算法模型计算搜索模型的模型中间数据指标，

并且，至少基于所述搜索评价指标生成监控结果包括：

统计得到的信号依赖指标异常导致所述模型中间数据指标的明显变化；以及

至少基于所述模型中间数据指标的明显变化生成警报。

2.如权利要求1所述的方法，其中，所述搜索评价指标包括如下的至少一项：

归一化折损累积增益(NDCG)；

正逆序对比例(PARI)；

预期互惠排序(ERR)；以及

准确率与召回率的调和值(F-SCORE)。

3.如权利要求1所述的方法，其中，在前获取的所述基准搜索评价指标包括如下至少一项：

人工标注的指标数据；以及

基于线上用户真实点击数据计算得到的数据。

4.如权利要求1所述的方法，其中，统计并获取信号依赖指标包括：

经由接口获取并分类所述依赖信号，所述依赖信号包括时效性信号和/或PV(页面浏览量)截断信号；

统计分类得到的依赖信号以获取所述信号依赖指标。

5.如权利要求1所述的方法，其中，至少基于所述搜索评价指标生成监控结果还包括：

所述信号依赖指标异常导致当前搜索评价指标下滑；以及

至少基于所述当前搜索评价指标下滑生成警报。

6.如权利要求1所述的方法，其中，基于所述模型中间数据指标的变化趋势生成监控结果包括：

计算当前单位时间与在前单位时间内的模型中间数据指标之间的相对熵；以及

基于所述相对熵生成监控结果，和/或

基于所述模型中间数据指标的分位数变化趋势生成监控结果。

7.如权利要求1所述的方法，还包括：

基于业务日志抽取并统计业务日志指标，并且

生成监控结果还包括：

基于统计得到的所述业务日志指标生成监控结果。

8.一种搜索排序监控方法，包括：

获取搜索系统的当前搜索数据，所述搜索数据包括用户输入数据、搜索排序数据和/或用户点击数据；

基于所述当前搜索数据计算搜索系统监控指标，所述监控指标包括搜索评价指标、信号依赖指标和模型中间数据指标，其中所述搜索评价指标是基于当前搜索评价指标与在前获取的基准搜索评价指标比较得到的，所述信号依赖指标是搜索算法依赖的信号的统计分类指标，所述模型中间数据指标是基于搜索算法模型计算搜索模型的模型中间数据的指标；

汇总所述搜索系统监控指标；以及

基于汇总指标的变化趋势生成监控结果，

其中，基于汇总指标的变化趋势生成监控结果包括：

统计得到的信号依赖指标异常导致所述模型中间数据指标的明显变化；以及

至少基于所述模型中间数据指标的明显变化生成警报。

9.如权利要求8所述的方法，还包括：

获取所述搜索系统的业务日志数据；

基于所述业务日志数据统计得到业务日志指标，其中，

所述搜索系统监控指标包括所述业务日志指标。

10.如权利要求8所述的方法，其中，所述信号依赖指标异常导致所述搜索评价指标劣化，

基于汇总指标的变化趋势生成监控结果包括：

基于所述异常和劣化生成警报。