[发明专利]一种基于朴素贝叶斯算法的网页内容篡改检测方法

说明书

本发明公开了一种基于朴素贝叶斯算法的网页内容篡改检测方法，用于检测网页是否被恶意篡改。对于同一个网站，虽然网页的结构可能不断变化，但是网站显示内容的关键词总是相似的，因此在网页篡改前与被篡改后的关键词内容发生了较大的变化。根据以上的思想，本发明首先建立正常与被篡改网页的样本关键词库，然后使用朴素贝叶斯算法分别计算该网页被篡改与未被篡改的概率，并判断二者的大小，最后得出网页是否被篡改的概率。本发明提高了检测的准确率与稳定性。

技术领域

本发明涉及网页内容篡改的检测领域，特别是一种基于朴素贝叶斯算法的网页内容篡改检测方法。

背景技术

现有的检测网页内容是否被篡改的方法，其是通过构建一个基准网页，将待检测网页结构与基本网页对比得到相似度，根据相似度判断网页是否被篡改。这种检测方式存在以下不足：1)网页内容有许多冗余信息，使用匹配的方式计算复杂，容易漏检；2)网页结构变化则需要人工更换基准网页，加大了工作量。

发明内容

本发明所要解决的计算问题是提供一种基于朴素贝叶斯算法的网页内容篡改检测方法，使用TF-IDF逆向词频技术提取网页关键词，使用朴素贝叶斯学习算法判断网页是否被恶意篡改，提高了检测的准确率与稳定性。

为解决上述技术问题，本发明采用的技术方案是：

一种基于朴素贝叶斯算法的网页内容篡改检测方法，包括以下步骤：

步骤1：使用爬虫动态解析、爬取待提取页面内容；

步骤2：除去步骤1里获取到的页面内容中的html标签、css代码、JavaScript代码；

步骤3：分词，即将网站内容中的句子分解为词语；

步骤4：使用TF-IDF根据某个词的词频和该词在文档中出现的次数来对词语的重要程度进行衡量，将所有词语按照TF-IDF指数从大到小排序，按顺序选取一定数量词语作为该文档的特征词；

步骤5：对一定数量网站得到的特征词进行人工标注；即如果该网页为正常网页，则从该网页提取的特征词标注为正常；若该网页已经被篡改，则从篡改页面提取的特征词注为被篡改；

步骤6：将步骤5所得标注的特征词及其标注存入数据库中，作为样本特征词库；

步骤7：根据步骤1至步骤4的方法提取待检测网站的特征词，并使用朴素贝叶斯算法结合步骤6得到的样本特征词库进行分类，判断待检测网站内容是否被篡改。

进一步的，在步骤1中，使用能模拟浏览器的爬虫技术来获取页面内容。

进一步的，根据步骤7的检测结果将所提取的特征词分类存入样本特征词库，对样本特征词库进行更新。

与现有技术相比，本发明的有益效果是：首先利用TF-IDF加权算法提取出网页关键词，然后使用朴素贝叶斯分类算法对网页是否被篡改进行判断，并且在使用的过程中可以不断对样本词库进行动态更新，有效消除网页冗余信息对分类结果的影响。此外，本发明采用无头浏览器动态地对待检测页面进行爬取，使得目前许多采用JavaScript跳转技术对网页进行篡改的方式也能得到有效的监控，有效地降低漏检率。

附图说明

图1是本发明一种基于朴素贝叶斯算法的网页内容篡改检测方法的流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明按照功能分为四个模块，它们之间是严格按照先后顺序执行。在本发明中会涉及到“指定值”一词，这里的指定值并没有一个明确的数值，可以将它理解为本发明中的参数。在实际应用中可以不断的调整这些参数来达到最佳的匹配效果。

模块一：特征词提取模块