[发明专利]网络爬虫的测试方法、装置、服务器和存储介质

说明书

技术领域

本申请实施例涉及软件测试技术领域，尤其涉及一种网络爬虫的测试方法、装置、服务器和存储介质。

背景技术

随着网络的迅速发展，互联网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战，搜索引擎(Search Engine)，作为一个辅助人们获取各类检索信息的工具成为用户访问互联网的入口和指南。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从互联网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。由于网络爬虫每天需要抓取巨量的网站，为了检测网路爬虫的抓取结果的性能，需要对网络爬虫进行测试。

常规的测试方法一般是人工对比网站的数据和网络爬虫所抓取的数据，以验证测试结果，这种测试方法非常费时，测试效率低下。

发明内容

本申请实施例提供一种网络爬虫的测试方法、装置、服务器和存储介质，以实现提高网络爬虫的测试效率的目的。

第一方面，本申请实施例提供了一种网络爬虫的测试方法，包括：

从测试网站对应的网页文件上随机获取测试文本；

调用所述测试网站的内部查询接口，根据所述测试文本进行检索，以生成第一检索结果；

运行网络爬虫以得到爬取结果，并在所述爬取结果中检索所述测试文本，以生成第二检索结果；

根据所述第一检索结果和所述第二检索结果生成测试结果。

进一步地，所述从测试网站对应的网页文件上获取测试文本之前，还包括：从爬虫种子库获取至少一个种子网站作为测试网站。

进一步地，所述运行网络爬虫以得到爬取结果，并在所述爬取结果中检索所述测试文本，以生成第二检索结果包括：

基于所述爬虫种子库运行网络爬虫，获取所述爬虫种子库中的种子网站对应的HTML格式文件；

将所述HTML格式文件转换为Velocity格式文件，并输入solr库中作为爬取结果；

在所述solr库中检索所述检测关键词，以生成第二检索结果。

进一步地，所述根据所述第一检索结果和所述第二检索结果生成测试结果，包括：

根据网址比对所述第一检索结果和所述第二检索结果；

如果所述第一检索结果中的网址和所述第二检索结果中的网址相同，则测试结果为爬虫正确；

否则测试结果为爬虫失败。

进一步地，所述根据所述第一检索结果和所述第二检索结果生成测试结果，包括：

根据的网址和网页信息比对所述第一检索结果和所述第二检索结果；

当所述第一检索结果的网址和所述第二检索结果的网址相同，以及所述第一检索结果的网页信息和所述第二检索结果的网页信息相同，则测试结果为爬虫正确；

否则测试结果为爬虫失败。

第二方面，本申请实施例还提供了一种网络爬虫的测试装置，包括：

关键词获取模块，用于从测试网站对应的网页文件上随机获取测试文本；

第一检索模块，用于调用所述测试网站的内部查询接口，根据所述测试文本进行检索，以生成第一检索结果；

第二检索模块，用于运行网络爬虫以得到爬取结果，并在所述爬取结果中检索所述测试文本，以生成第二检索结果；

结果生成模块，用于根据所述第一检索结果和所述第二检索结果生成测试结果。

进一步地，还包括：

测试获取模块，用于从爬虫种子库获取至少一个种子网站作为测试网站；

相应地，所述第二检索模块具体包括：

爬取单元，用于基于所述爬虫种子库运行网络爬虫，获取所述爬虫种子库中的种子网站对应的HTML格式文件；

爬取结果单元，用于将所述HTML格式文件转换为Velocity格式文件，并输入solr库中作为爬取结果；

爬取检索单元，用于在所述solr库中检索所述检测关键词，以生成第二检索结果。

进一步地，结果生成模块具体用于：

根据的网址和网页信息比对所述第一检索结果和所述第二检索结果；

当所述第一检索结果的网址和所述第二检索结果的网址相同，以及所述第一检索结果的网页信息和所述第二检索结果的网页信息相同，则测试结果为爬虫正确；

否则测试结果为爬虫失败。