[发明专利]一种搜索引擎服务可靠性的评价指标计算方法

说明书

本发明提供一种搜索引擎服务可靠性的评价指标计算方法，所述的方法包括步骤如下：S1：构造搜索引擎可靠性评价的指标体系；S2：对指标体系采用层次分析法确定指标权重；S3：根据得到指标权重对搜索引擎可靠性评价分值进行计算。本发明提出的技术方案，具有以下优势：第一，指标体系更为全面，考虑了用户不同的查询需求对搜索引擎可靠性的评价，并将其分为三类，即导航类查询可靠性、信息类查询可靠性、事务类查询可靠性；第二，细化了子指标，对导航类查询、信息类查询、事务类查询的可靠性指标进一步的细化，提升评价结果的准确性；第三，指标的计算容易理解和实施，方便扩展。

技术领域

本发明涉及网络安全评估领域，更具体地，涉及一种搜索引擎服务可靠性的评价指标计算方法。

背景技术

互联网信息分布零散、体量庞大的特征日益凸显出信息组织、分类和过滤的重要性，搜索引擎作为网络数据处理整合的关键应用，占据了现代网络信息传播的枢纽位置。然而，搜索引擎在不断升级和优化的同时，也面临着诸多问题和挑战，其中最受关注的是搜索引擎服务可靠性的问题。搜索引擎服务可靠性体现在搜索引擎提供给用户搜索结果的是否是可靠有效的。由于搜索引擎自身商业利益的驱动、搜索引擎现有数据爬取和排名计算算法的缺陷，或目前数据挖掘技术以及计算机硬件条件限制等诸多复杂因素，导致搜索结果的可靠性降低，且不同搜索引擎的搜索结果存在巨大差异。搜索引擎作为用户互联网生活中不可或缺的工具，搜索结果中若混杂大量的垃圾广告、失真新闻、过时链接等无效信息，势必提高用户获取信息的门槛，不仅会降低用户信息搜索效率，甚至会危害用户自身的权益。对搜索引擎服务可信度的评价既有助于用户选择可靠性高的搜索引擎服务，提升信息搜索效率，也可以协助搜索引擎提供商优化搜索算法，提升搜索结果的可靠性。

搜索引擎服务可靠性评价问题属于网络安全评估问题中的研究热点之一。其中，最早可追溯到20世纪50年代末到60年代中期由英国Cranfield工程建立的基于查询样例集、标准答案集和语料库的评测方案。该方案主要是通过计算查询样例集合下人工标注的标准答案与搜索引擎反馈的搜索结果的精准率和召回率，综合得到最终评价结果。但由于互联网信息量爆炸式的增长，利用人工标注答案的方式进行搜索引擎可靠性评价将造成极大的人力和时间代价。21世纪初，比较有代表性的工作包括IBM Haifa研究院研发的“相关词集合评价方法”与Joachims提出的基于用户点击行为的评价方法等。

现有技术文献1[Amitay E,Carmel D,Lempel R,et al.Scaling IR-systemevaluation using term relevance sets[C]//Proceedings of the 27th annualinternational ACM SIGIR conference on Research and Development in InformationRetrieval.2004:10-17]等人提出的“相关词集合评价方法”主要是利用人工标注的查询词关联词在搜索结果中的分布情况来判定反馈文档的相关程度及检索结果的可靠性。此种方法将人工标记工作从收集搜索结果之后转移到收集搜索结果之前，一定程度上解决了评价结果反馈时间过长的问题，但增加了相关性查询词标记的难度。

现有技术文献2[Joachims T.Evaluating Retrieval Performance UsingClickthrough Data[J].2003]提出了使用用户点击行为信息评价搜索引擎性能的思路，该方法首先将查询词在几个著名的搜索引擎的查询结果随机混合并反馈给用户，然后收集用户的结果点击行为，最后根据用户不同点击的倾向性判断搜索引擎返回结果的优劣。此方法无需耗费人力，但无法保证用户点击行为的可靠性，从而会影响评价结果的可靠性。