[发明专利]网络爬虫的测试方法、装置、服务器和存储介质

权利要求书

1.一种网络爬虫的测试方法，其特征在于，包括：

从测试网站对应的网页文件上随机获取测试文本；

调用所述测试网站的内部查询接口，根据所述测试文本进行检索，以生成第一检索结果；

运行网络爬虫以得到爬取结果，并在所述爬取结果中检索所述测试文本，以生成第二检索结果；

根据所述第一检索结果和所述第二检索结果生成测试结果。

2.根据权利要求1所述的方法，其特征在于，所述从测试网站对应的网页文件上获取测试文本之前，还包括：

从爬虫种子库获取至少一个种子网站作为测试网站。

3.根据权利要求2所述的方法，其特征在于，所述运行网络爬虫以得到爬取结果，并在所述爬取结果中检索所述测试文本，以生成第二检索结果包括：

基于所述爬虫种子库运行网络爬虫，获取所述爬虫种子库中的种子网站对应的HTML格式文件；

将所述HTML格式文件转换为Velocity格式文件，并输入solr库中作为爬取结果；

在所述solr库中检索所述检测关键词，以生成第二检索结果。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述第一检索结果和所述第二检索结果生成测试结果包括：

根据网址比对所述第一检索结果和所述第二检索结果；

如果所述第一检索结果中的网址和所述第二检索结果中的网址相同，则测试结果为爬虫正确；

否则测试结果为爬虫失败。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述第一检索结果和所述第二检索结果生成测试结果包括：

根据的网址和网页信息比对所述第一检索结果和所述第二检索结果；

如果所述第一检索结果中的网址和所述第二检索结果中的网址相同，以及所述第一检索结果中的网页信息和所述第二检索结果中的网页信息相同，则测试结果为爬虫正确；

否则测试结果为爬虫失败。

6.一种网络爬虫的测试装置，其特征在于，包括：

关键词获取模块，用于从测试网站对应的网页文件上随机获取测试文本；

第一检索模块，用于调用所述测试网站的内部查询接口，根据所述测试文本进行检索，以生成第一检索结果；

第二检索模块，用于运行网络爬虫以得到爬取结果，并在所述爬取结果中检索所述测试文本，以生成第二检索结果；

结果生成模块，用于根据所述第一检索结果和所述第二检索结果生成测试结果。

7.根据权利要求6所述的装置，其特征在于，还包括：

测试获取模块，用于从爬虫种子库获取至少一个种子网站作为测试网站；

相应地，所述第二检索模块具体包括：

爬取单元，用于基于所述爬虫种子库运行网络爬虫，获取所述爬虫种子库中的种子网站对应的HTML格式文件；

爬取结果单元，用于将所述HTML格式文件转换为Velocity格式文件，并输入solr库中作为爬取结果；

爬取检索单元，用于在所述solr库中检索所述检测关键词，以生成第二检索结果。

8.根据权利要求6或7所述的装置，其特征在于，结果生成模块具体用于：

根据的网址和网页信息比对所述第一检索结果和所述第二检索结果；

当所述第一检索结果的网址和所述第二检索结果的网址相同，以及所述第一检索结果的网页信息和所述第二检索结果的网页信息相同，则测试结果为爬虫正确；

否则测试结果为爬虫失败。

9.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的网络爬虫的测试方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的网络爬虫的测试方法。