[发明专利]显示扫描进度的方法及装置

权利要求书

1.一种显示扫描进度的方法，其特征在于，包括：

根据爬虫模块当前已爬取完成的页面链接的数目以及在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目，确定爬取扫描产出比；

根据所述爬取扫描产出比以及爬虫模块将要爬取的页面链接的数目，确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

根据在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目以及在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目，确定需要扫描模块进行扫描的所有页面链接的数目；

确定扫描模块当前已扫描完成的页面链接的数目；

根据扫描模块当前已扫描完成的页面链接的数目以及需要扫描模块进行扫描的所有页面链接的数目，确定当前扫描进度，并显示确定出的当前扫描进度；

其中，确定扫描模块当前已扫描完成的页面链接的数目，具体包括：

根据扫描模块已扫描完成的各页面链接对应的扫描时长以及扫描模块已扫描完成的页面链接的数目，确定扫描模块扫描每个页面链接时的平均扫描时长；

根据扫描模块正在扫描的每个页面链接对应的开始扫描时间、扫描模块正在扫描的页面链接的数目以及扫描模块扫描每个页面链接时的平均扫描时长，确定扫描模块预估扫描完成的页面链接的数目；

根据扫描模块已扫描完成的页面链接的数目以及扫描模块预估扫描完成的页面链接的数目，确定扫描模块当前已扫描完成的页面链接的数目。

2.如权利要求1所述的方法，其特征在于，通过下述方式确定爬取扫描产出比：

$cor=\frac{accept}{finished}$

其中，cor为爬取扫描产出比；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

finished为爬虫模块当前已爬取完成的页面链接的数目。

3.如权利要求1所述的方法，其特征在于，通过下述方式确定在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目：

to_scanned＝to_crawl*cor

其中，to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_crawl为爬虫模块将要爬取的页面链接的数目；

cor为爬取扫描产出比。

4.如权利要求1所述的方法，其特征在于，通过下述方式确定需要扫描模块进行扫描的所有页面链接的数目：

total＝accept+to_scanned

其中，total为需要扫描模块进行扫描的所有页面链接的数目；

accept为在爬虫模块当前已爬取完成的页面链接中需要扫描模块进行扫描的页面链接的数目；

to_scanned为在爬虫模块将要爬取的页面链接中需要扫描模块进行扫描的页面链接的数目。

5.如权利要求1所述的方法，其特征在于，还包括：

根据扫描模块扫描每个页面链接时的平均扫描时长以及扫描模块正在扫描的页面链接的数目，确定间隔时长；并

在经过确定出的所述间隔时长后，更新扫描模块预估扫描完成的页面链接的数目。