[发明专利]网页内容安全实时监测方法

权利要求书

1.网页内容安全实时监测系统，其特征在于，包括任务调度模块、监控模块、分析引擎模块；

任务调度模块、监控模块部署于分布式系统的一个第一节点上；

所述任务调度模块用于将需要抓取的目标网址，以及预设的抓取时间或抓取频率分配给各分析引擎模块；

所述监控模块用于监控分析引擎模块执行分析任务的状态和资源占用情况，以及任务状态和资源占用情况上报任务调度模块；

多个分析引擎模块分别部署在不同的分布式系统的第二节点上；

分析引擎模块用于抓取目标网页，获得网页文件，对网页文件进行安全性分析；

第一节点连接第二节点；

分析引擎模块还用于根据预设的抓取规则获得线索，根据线索提取第一网页文件中的子目标网页地址，根据线索获取第二网页文件；

分析引擎模块还用于对网页文件进行恶意代码分析后，还对网页文件进行暗链分析；

分析引擎模块还用于去除网页文件中的标签注释文本后，分别计算获得的网页文件与对应的安全网页文件的simhash值，计算获得的网页文件的simhash值与安全网页文件之间的的simhash值之间的海明距离，根据海明距离判断网页相似度，若相似，则该获取的网页文件为安全网页；

分析引擎模块还用于比较网页文件与对应的安全网页文件的网页编码、文件类型、数据长度是否一致，若不一致则该网页为存在安全风险的网页。

2.根据权利要求1所述的系统，其特征在于，分析引擎模块还用于根据设置的敏感词构造DFA状态机；对网页文件进行分词，获得字符串；在DFA状态机中遍历查询所有获得的字符串，若在DFA状态机中查找到对应的字符串，则该网页文件包含敏感词。

3.根据权利要求1所述的系统，其特征在于，分析引擎模块还用于将安全性分析获得结果按设定的方式存储；

将分析引擎的分析结果进行统计分析，并将分析结果发送至交互界面显示。

4.网页内容安全实时监测方法，其特征在于，包括步骤：

根据预设的目标网址，以及根据预设的抓取时间或抓取频率，通过部署在分布式系统上的多个网站爬虫工具分别抓取目标网页，获得网页文件；

对网页文件进行安全性分析；

所述网站爬虫工具抓取目标网页，包括步骤：

根据预设的抓取规则获得线索，根据线索提取第一网页文件中的子目标网页地址，根据线索获取第二网页文件；

所述步骤对网页文件进行安全性分析包括，对网页文件进行恶意代码分析后，还对网页文件进行暗链分析；

所述对网页文件进行安全性分析还包括步骤：去除网页文件中的标签注释文本后，分别计算获得的网页文件与对应的安全网页文件的simhash值，计算获得的网页文件的simhash值与安全网页文件之间的的simhash值之间的海明距离，根据海明距离判断网页相似度，若相似，则该获取的网页文件为安全网页；

所述对网页文件进行安全性分析还包括步骤：比较网页文件与对应的安全网页文件的网页编码、文件类型、数据长度是否一致，若不一致则该网页为存在安全风险的网页。

5.根据权利要求4所述的方法，其特征在于，所述对网页文件进行安全性分析还包括步骤，根据设置的敏感词构造DFA状态机；对网页文件进行分词，获得字符串；在DFA状态机中遍历查询所有获得的字符串，若在DFA状态机中查找到对应的字符串，则该网页文件包含敏感词。

6.根据权利要求4所述的方法，其特征在于，在步骤对网页文件进行安全性分析之后，还包括步骤:

将安全性分析获得结果按设定的方式存储；

将分析引擎的分析结果进行统计分析，并将分析结果发送至交互界面显示。