[发明专利]一种不依赖文档库的多搜索引擎自动化对比评测方法

摘要

本发明提供一种不依赖文档库的多搜索引擎自动化对比评测方法，其特征在于，所述方法包括如下步骤A.选择评测词；B.抓取搜索结果并保存为文档；C.提取文档正文；D.计算相关性；E.整合文档并按其相关性排序；F.计算DCG；G.按DCG结果进行排序，总结评测结果。通过本发明可以达到如下效果自动化，无需人工参与，节省大量人工；快速，可短时间内获得评测结果；灵活，本发明的过程中，多处采用了可配置的模式，相关性计算等还可以自行调整，因此具有很高的灵活性；可应用于多种垂直搜索中，不只是单纯的网页搜索，也可用于新闻搜索，视频搜索等。

主权项

一种不依赖文档库的多搜索引擎自动化对比评测方法，其特征在于，所述方法包括如下步骤：A.选择评测词；B.抓取搜索结果并保存为文档；C.提取文档正文；D.计算相关性；E.整合文档并按其相关性排序；F.计算DCG；G.按DCG结果进行排序，总结评测结果；所述评测词为选取的3000个搜索引擎结果中的高频词；所述相关性的计算方法包括：词频比例法；该方法的表达式为：相关性＝词频在本文档中所占比例*词频在所有抓取结果中所占比例；所述正文的提取方法包括：基于DOM树的HTML提取方法、文本最长串的正文提取法；所述基于DOM树的HTML提取方法包括：将HTML文本转化成一个DOM树，然后根据DOM树的节点分析来提取正文相关的内容，以除去页面中无关信息；该无关信息包括：页面噪音和HTML标签；所述文本最长串的正文提取法包括：在HTML页面内容中找到最长的文本串，然后再前后扩展，直到扩展到阈值，再进行截断，提取，得到文本的正文内容。