[发明专利]基于网站页面的网页状态监控方法及系统

权利要求书

1.一种基于网站页面的网页状态监控方法，其特征在于，包括以下步骤：

步骤1，建立需要监测的网站页面的页面配置表，所述页面配置表存储需要监测的网站页面的url、监测模式以及监测周期的对应关系；其中，所述监测模式包括链接监测模式和/或截屏相似度监测模式；

步骤2，每当达到监测周期时，自动触发对对应的网站页面按对应的监测模式进行网页状态监控；如果启动链接监测模式，执行步骤3；如果启动截屏相似度监测模式，执行步骤4；

步骤3，链接监测模式包括以下步骤：

步骤3.1，调用http客户端；http客户端根据需要监测的网站页面的url访问被监测的网站页面；

步骤3.2，http客户端抓取被监测的网站页面中的html元素；所述html元素包括文本元素、图像元素、动画元素和链接元素；

步骤3.3，http客户端对所述html元素进行分析，匹配查找出被监测的网站页面中的链接元素；

步骤3.4，对于查找出的每个链接元素，http客户端均对该链接发起http请求，获取到状态码；所述状态码包括正常状态码和异常状态码；

步骤3.5，http客户端将链接与异常状态码的对应关系存储到异常状态码日志表中；然后执行步骤5；

步骤4，截屏相似度监测模式包括以下步骤：

步骤4.1，根据需要监测的网站页面的url访问被监测的网站页面，并截取被监测的网站页面的整页面屏，得到网站页面截图；

步骤4.2，对所述网站页面截图进行二值化处理，得到二值化的网站页面截图；

步骤4.3，获取被监测的网站页面的最近一次正常情况下的二值化网站页面截图；

步骤4.4，比对步骤4.2得到的二值化的网站页面截图与步骤4.3得到的最近一次正常情况下的二值化网站页面截图的相似度，如果相似度高于设定阈值，则表明本次被监测的网站页面为正常状态，并将本次得到的二值化的网站页面截图保存到数据库中，作为下一次网站页面状态比对的基准；如果相似度低于设定阈值，表明本次被监测的网站页面为异常状态；然后执行步骤5；

步骤5，统计状态码异常的链接和/或相似度异常的二值化网站页面截图，得到对被监测网站页面的监测结果。

2.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，步骤3.3中，使用nodejs中的cheerio功能模块，匹配查找出被监测的网站页面中的链接元素。

3.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，步骤3.3中，链接元素为a链接元素。

4.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，步骤3.4中，http客户端使用nodejs中的http模块发起http请求，并获取到状态码。

5.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，步骤4.1中，使用casperjs截取被监测的网站页面的整页面屏。

6.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，步骤4.1具体为：

步骤4.1.1，截图组件对外提供web服务，接受外来的合法的接口请求；

步骤4.1.2，当截图组件接收到对被监测的网站页面的截图请求时，其中，所述截图请求中携带有被监测的网站页面的url；所述截图组件获取请求中的url，截取对应页面的模拟渲染的界面，由此生成被监测的网站页面的截图；

步骤4.1.3，所述截图组件将生成的截图上传到分布式存储服务器上，并得到所述截图在所述分布式存储服务器上的存储地址；所述截图组件将所述截图在所述分布式存储服务器上的存储地址以json数据返回给请求者。

7.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，还包括：

步骤6，将步骤5得到的监测结果以邮件或短信的形式，自动发送给关联的管理组成员。

8.一种基于网站页面的网页状态监控系统，其特征在于，包括：

页面配置表，所述页面配置表用于存储需要监测的网站页面的配置信息；所述配置信息包括需要监测的网站页面的url、监测模式以及监测周期的对应关系；其中，所述监测模式包括链接监测模式和/或截屏相似度监测模式；

链接监测模块，用于达到监测周期时，对对应的网站页面按对应的监测模式进行网页状态监控；

所述链接监测模块包括访问子模块、html元素抓取子模块、链接元素匹配子模块、http请求发起子模块、状态码获取子模块和日志存储子模块；

所述访问子模块，用于根据需要监测的网站页面的url访问被监测的网站页面；

所述html元素抓取子模块，用于抓取被监测的网站页面中的html元素；所述html元素包括文本元素、图像元素、动画元素和链接元素；

链接元素匹配子模块，用于对所述html元素进行分析，匹配查找出被监测的网站页面中的链接元素；

所述http请求发起子模块，用于对于查找出的每个链接元素，均对该链接发起http请求；

状态码获取子模块，用于获取所述http请求发起子模块发起的http请求的状态码；

日志存储子模块，用于将链接与异常状态码的对应关系存储到异常状态码日志表中；

截屏相似度监测模块，用于达到监测周期时，对对应的网站页面按对应的监测模式进行网页状态监控；

所述截屏相似度监测模块包括：截图子模块、二值化处理子模块、获取子模块和比对子模块；

截图子模块，用于根据需要监测的网站页面的url访问被监测的网站页面，并截取被监测的网站页面的整页面屏，得到网站页面截图；

二值化处理子模块，用于对所述网站页面截图进行二值化处理，得到二值化的网站页面截图；

获取子模块，用于获取被监测的网站页面的最近一次正常情况下的二值化网站页面截图；

比对子模块，用于比对所述二值化处理子模块得到的二值化的网站页面截图与所述获取子模块获取到的最近一次正常情况下的二值化网站页面截图的相似度，如果相似度高于设定阈值，则表明本次被监测的网站页面为正常状态，并将本次得到的二值化的网站页面截图保存到数据库中，作为下一次网站页面状态比对的基准；如果相似度低于设定阈值，表明本次被监测的网站页面为异常状态；

统计分析模块，用于统计状态码异常的链接和/或相似度异常的二值化网站页面截图，得到对被监测网站页面的监测结果。