[发明专利]一种网站信息分析系统及其方法

权利要求书

1.一种网站信息分析系统，其特征在于：包括：

一权限验证器，其用来对目标网站进行权限检测，向目标网站发送登陆指令以提取网站的页面信息，判定目标网站是否需要用户名和密码登陆访问，对于需要用户名和密码登陆访问的目标网站，利用网络爬虫技术分析模块模拟网站的登陆流程自动登陆目标网站；

一链接提取器，其用来获取目标网站的所有链接数据信息，利用链接提取算法模块，从目标网站的页面中提取所有链接数据信息；

一链接分析器，其用来对所有链接数据信息进行分析，并按照预先设定的分类方式对所有链接数据信息进行分类分析；

一链接页面成像器，其用来对已经分类好的链接数据信息进行内存成像分析，以将链接页面自动加载在内存中并对页面直接进行成像保存分析，保存于指定存储器中；

一增量信息分析器，其用来重新遍历目标网站的所有链接并成像存储未出现于指定存储器的链接队列；

一报表生成器，根据成像的链接数据信息生成预置格式的报表；

权限验证器的输出接至链接提取器的输入，权限验证器将目标网站的页面信息输给链接提取器，由链接提取器进行网站页面链接数据信息的提取；链接提取器的输出接至链接分析器的输入，链接提取器将提取的链接数据信息输给链接分析器，由链接分析器进行归类整理；链接分析器的输出接至链接页面成像器的输入，链接分析器将归类整理的链接数据信息输给链接页面成像器，由链接页面成像器进行链接页面成像分析；链接页面成像器的输出接至增量信息分析器的输入，由增量信息分析器重新遍历目标网站的所有链接并成像存储未出现于指定存储器的链接队列；增量信息分析器的输出接至报表生成器，由报表生成器生成报表。

2.一种网站信息分析方法，其特征在于：包括如下步骤：

对目标网站进行权限检测的步骤；该步骤用来判定目标网站是否需要用户名和密码登陆访问，对于需要用户名和密码登陆访问的目标网站，采用网络爬虫技术模拟网站的登陆流程自动登陆目标网站；

获取目标网站的所有链接的步骤；该步骤是采用链接提取算法来提取目标网站中的所有链接数据信息；

分析所述链接数据信息并对其进行分类的步骤；该步骤是根据预置的方式对链接数据信息进行分类分析；

对分类好的所述链接数据信息进行内存成像分析并保存于指定存储器的步骤；

重新遍历目标网站的所有链接并成像存储未出现在指定存储器的链接队列的步骤；

根据成像的链接数据信息生成报表的步骤。

3.根据权利要求2所述的网站信息分析方法，其特征在于：所述对分类好的所述链接数据信息进行内存成像分析并保存于指定存储器的步骤，其进一步包括：

A.提取内存中分类好的链接队列中的链接信息；

B.创建一个应用程序窗口，该窗口具有一定的初始大小，同时该窗口处于隐藏状态；

C.绑定一个浏览器内核到该窗口上；

D.通过浏览器内核访问并加载链接页面内容；

E.浏览器内核加载的链接页面通过绑定的窗口展现在窗口中；

F.当链接页面加载完成或达到预定时间，则对隐藏窗口页面内容进行成像存储；

G.获取链接页面内容在窗口中的长度和高度，调用图形GDI接口对该范围内的窗口输出进行成像保存；

H.重复步骤A至G，直至链接队列容器中的链接为空。

4.根据权利要求2所述的网站信息分析方法，其特征在于：所述重新遍历目标网站的所有链接并成像存储未出现在指定存储器的链接队列的步骤，其进一步包括：

a.将已遍历的链接信息以及内存成像器成像过的链接信息保存在内存哈西容器中；

b.对整个网站重新进行遍历，将提取到的链接信息发送到内存哈西容器中进行快速查找，若发现该链接已经存在则直接忽略，否则对链接进行分类进入链接列队；

c.内存成像器对链接队列中的链接进行成像保存，同时将链接的信息存入内存哈西容器中。