[发明专利]搜索排序监控方法和系统

说明书

本发明公开了一种搜索排序监控方法和系统。该方法包括：获取当前线上搜索排序结果；基于所述当前线上搜索排序结果计算当前搜索评价指标；将算出的当前搜索评价指标与在前获取的基准搜索评价指标相比较以得到搜索评价指标；以及至少基于所述搜索评价指标生成监控结果。由此，实现对搜索系统的排序效果进行有效且准确的监控。还可以引入信号依赖、模型数据和业务日志维度，作为上述线上效果维度的补充和配合，以实现更为全面且灵敏的搜索系统监控。

技术领域

本发明涉及搜索领域，尤其涉及一种搜索排序监控方法和系统。

背景技术

随着信息技术的发展和终端设备(尤其是智能手机)的普及，各式各样的搜索排序系统与人们的日常生活连接愈发紧密。例如，人们会利用传统的搜索引擎界面或是内嵌了搜索引擎入口的浏览器APP来进行关键词输入并对搜索排序系统返回的排序结果进行选择性地点击和阅读。各个内容或服务提供商也主动会向用户馈送各类信息流供用户阅读(即，feed搜索)。信息流中信息的选择和呈现次序通常也由搜索排序系统决定。

毫不夸张地说，由搜索排序系统提供的信息呈现质量在很大程度上决定了用户的使用体验，甚至是用户的去留，为此，针对搜索排序效果进行有效的监控和评价就成为了各大内容或服务提供商所必须解决的问题。

发明内容

为了解决如上的至少一个问题，本申请提出了一种搜索排序监控方法和系统，其能够基于当前排序结果和在前基准结果的对比来对搜索系统的排序效果进行有效的监控。该监控方案可以进一步涉及信号依赖、模型数据和/或业务日志信号，以便从多个维度来对搜索排序系统进行全方位的监控。在这其中，信号依赖指标可以包括时效性信息，以便应对在互联网搜索业务中越来越常见的高时效性搜索场景。

根据本发明的一个方面，提供了一种搜索排序监控方法，包括：获取当前线上搜索排序结果；基于所述当前线上搜索排序结果计算当前搜索评价指标；将算出的当前搜索评价指标与在前获取的基准搜索评价指标相比较以得到搜索评价指标；以及至少基于所述搜索评价指标生成监控结果。由此，通过引入当前真实数据与基准数据的比较，能够更为准确及时地对排序效果进行评价与监控。

可选地，所述搜索评价指标可以包括如下的至少一项：归一化折损累积增益(NDCG)；正逆序对比例(PARI)；预期互惠排序(ERR)；以及准确率与召回率的调和值(F-SCORE)。由此，能够实现对搜索指标的数值化，以方便例如依据变化趋势判断搜索系统的健康状况。

可选地，在前获取的所述基准搜索评价指标可以包括如下至少一项：人工标注的指标数据；以及基于线上用户真实点击数据计算得到的数据。

可选地，该搜索排序监控方法还可以包括：统计并获取信号依赖指标，并且至少基于所述搜索评价指标生成监控结果包括：基于所述信号依赖指标生成监控结果。上述搜索算法所依赖的数值指标的引入能够进一步完善对搜索系统的监控。

可选地，统计并获取信号依赖指标可以包括：经由接口获取并分类包括时效性信号和/或PV(页面浏览量)截断信号的依赖信号；统计分类得到的依赖信号以获取所述信号依赖指标。由此，尤其通过时效性信号的引入，能够更准确地对(现今极为常见的)时效性场景下的搜索进行评价。

可选地，至少基于所述搜索评价指标生成监控结果还可以包括：所述信号依赖指标异常导致当前搜索评价指标下滑；以及至少基于所述当前搜索评价指标下滑生成警报。由此，通过多维度的信号联动，实现对系统异常的更为灵敏的判断。

可选地，该搜索排序监控方法还可以包括：基于搜索算法模型计算模型数据指标，并且至少基于所述搜索评价指标生成监控结果还包括：基于所述模型数据指标的变化趋势生成监控结果。中间数据的引入有助于对异常发生原因的定位。