[发明专利]搜索引擎的质量评估方法和装置

说明书

本发明公开了一种搜索引擎的质量评估方法和装置，该搜索引擎用于搜索多媒体资源，该质量评估方法包括：从用户日志获取单一查询词的用户深度停留数据；根据单一查询词的用户深度停留数据，获得全量查询词的用户深度停留数据；以及根据全量查询词的用户深度停留数据和原始评估指标，对搜索引擎的质量进行原始评估，其中，原始评估指标包括独立被点击多媒体资源的个数、每个查询词的被点击多媒体资源的平均个数、低于多媒体资源个数阈值的查询词的个数、多媒体资源播放完成比总体平均值、低于多媒体资源播放完成比阈值的查询词的个数中的至少一个。本发明能够无需进行人工标注、客观及时地对搜索引擎的质量进行评估。

技术领域

本发明涉及信息搜索和检索领域，尤其涉及一种搜索引擎的质量评估方法和装置。

背景技术

搜索引擎(Search Engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，将处理后的信息显示给用户，即，搜索引擎是为用户提供检索服务的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。

搜索引擎的质量评估一直受到产业界和研究人员的广泛关注。目前，Cranfield评价体系被广泛地应用于搜索引擎的质量评估，该评价体系是由查询样例集、正确答案集、评测指标这三个部分构成的完整评测方案。使用Cranfield评价体系进行搜索引擎的质量评估时，包含以下三个环节：首先，抽取代表性的查询词(query)，将抽取出的查询词组成一个规模适当的查询样例集；然后，针对该查询样例集，从搜索引擎的语料库中寻找与其相对应的结果，即进行人工标注；最后，将抽取出的查询词和带有标注信息的语料库输入检索系统，检索系统反馈结果，再针对搜索引擎反馈的结果，使用预先定义的评价计算公式、利用数值化的方法来评价搜索引擎反馈的结果与标注的理想结果的接近程度。

其中，存在多种评价搜索引擎反馈的结果的方法，例如准确率-召回率(Precision-Recall)方法、单值评价(Precision@N)方法、平均排序倒数(Mean ReciprocalRanking，简称MRR)方法、平均准确率均值(Mean Average Precision，简称MAP)方法和折损累积增益(Discounted Cumulative Gain，简称DCG)方法等。

然而，由于传统的信息检索系统数据和业务量通常不大，检索输入也相对规范，因此能够人工选取样例集和人工标注样例结果(标准答案)，但是，随着互联网的不断发展与互联网信息量的增加，线上搜索引擎的业务繁忙并且数据海量，利用人工标注答案的方式进行网络信息检索系统的评价是一个既耗费人力又耗费时间的过程，已经不可能利用人工标注答案的方式来进行答案的标注。也就是说，Cranfield评价体系的缺点在于需要人工选取样例集并且需要人工标注样例结果。

为了解决上述Cranfield评价体系的人工标注既耗费人力又耗费时间的问题，提出了A/B测试(A/B testing)系统。A/B测试系统在用户搜索时，由系统来自动决定用户的分组号(Bucket ID)，通过自动抽取流量导入不同分支，使得相应分组的用户看到不同产品版本(或不同搜索引擎)提供的结果。用户在不同版本产品下的行为将被记录下来，这些行为数据通过数据分析形成一系列指标，再通过比较这些指标来获得各个产品版本之间孰优孰劣的结论。其中，在指标计算时，可以细分为基于专家评分的方法和基于点击统计的方法这两种方法。

然而，随着互联网业务的发展，对于搜索引擎结果质量优化的及时性的要求也越来越高，传统的A/B测试系统发现搜索引擎的问题需要一定的专家打分时间，并且，由于长尾效应(Long Tail Effect)，A/B测试系统中涉及查询词的优异表现不能对整个系统的优异表现作出良好映射。也就是说，A/B测试系统的问题在于面对互联网业务规模的力不从心。