[发明专利]基于内容的敏感网页识别方法

说明书

技术领域

本发明涉及信息过滤技术领域，尤其涉及识别含有敏感信息的网 页的方法。

背景技术

由于互联网敏感信息对于互联网用户尤其是青少年造成了极大 的危害，因此引起了研究者和业界的广泛关注。

目前有很多种敏感信息过滤方法，包括黑白名单，IP过滤以及关 键词匹配等等过滤手段。总的来说，一方面，这些过滤技术采用一种 非常机械的方式，能够对一些敏感网页达到100％的过滤效率，响应时 间也非常短，但是过滤参数更新的周期只能跟随着实际敏感网页的出 现而变化，不能够应对实际敏感网站的快速变化。另一方面，由于网 页的内容信息基本上没有利用或者很少利用，因此造成了很高的误过 滤率，影响了用户的正常上网。

基于内容的敏感信息智能识别技术是近年来过滤技术的一个发 展方向。目前已有多种基于内容的敏感信息识别方法。

目前的敏感网页识别方法一般主要建立敏感文本识别基础之上。 因此核心是对文本的处理，首先提取网页中的文本，然后提取特征， 然后利用机器学习里面的分类算法来对特征进行训练和分类。其中特 征提取的方法通常采用的是：(1)人工给定一个关键词列表；(2)利用文 本匹配的方法来统计各关键词出现的次数；(3)各关键词出现的次数组 成一个向量，经过归一化等处理后，该向量作为该文本的特征向量。 一般给定的关键词数目小于100。然后选取分类器来进行训练和预测。 新加坡Pui Y.Lee等人利用Kohonen自组织神经网络来作为分类器， 取得了较好的实际效果。还存在一些敏感图像识别方法，例如本单位 提出了一种基于内容的敏感图像识别方法，在CAMPAQ数据库上取 得了超过80％的识别率。

同机械的过滤方法类似，以上方法没有很好的利用web特征，目 前还不能够达到满意的效果，例如基于文本的敏感网页识别不能够对 与敏感主题相关的正常网页进行很好的识别，基于图像的敏感网页识 别的误识别率很高。已存在的融合算法也仅仅是通过与或操作来融 合，不能够根本上提高识别率。

为了解决现有技术的不足，本发明的目的是关注从web网页特点 出发进行的敏感信息识别，进一步提高对敏感网页的识别率，为此， 本发明提出一种基于内容的敏感网页识别方法。

为了实现上述目的，本发明基于内容的敏感网页识别方法的步骤 如下：包括预处理步骤和识别文本信息步骤；

预处理步骤包括：

在给定网页的统一资源定位器的条件下，获取该网页的源码，进 行数据分流和预处理，获取文本信息；

获取网页中图像部分结构信息，挑选重要图像组成有效图像集 合；

识别敏感信息步骤包括：

利用连续敏感文本识别器对文本信息进行识别处理步骤；

利用离散文本识别器对文本信息进行识别步骤；

利用敏感图像识别器对图像集合的图像进行识别步骤。

所述的识别敏感信息步骤如下：

利用连续敏感文本识别器对文本信息进行识别处理，如果识别结 果为敏感，则处理完毕；如果识别结果为不敏感，则执行：

离散文本识别器对文本信息进行识别步骤，如果识别器输出结果 大于阈值，则识别结果为敏感，处理完毕；如果识别结果为不敏感， 则执行：

敏感图像识别器对图像集合的图像进行识别步骤，识别的结果与 离散敏感文本识别器的结果融合，根据其融合结果判断该网页是否敏 感。

本发明针对现有技术中，基于文本的敏感网页识别不能够对与敏 感主题相关的正常网页进行很好的识别；基于图像的敏感网页识别是 采用与或操作融合的技术方案，不能够从根本上提高识别率的问题， 本发明采用连续敏感文本识别器、离散文本识别器和敏感图像识别器 三者结合的技术方案解决现有技术的问题，本发明利用web结构信息 及构造了一个图像集合识别问题来进行信息融合，提高对敏感网页的 识别率。

附图说明

通过以下结合附图的详细描述，本发明的上述和其它方面、特征 和优点将变得更加显而易见。附图中：

图1是本发明系统框架示意图

具体实施方式

下面结合附图对本发明作具体说明。应该指出，所描述的施例仅 仅视为说明的目的，而不是对本发明的限制。

根据本发明，所示的图1是本发明系统框架示意图，具体步骤如 下：