[发明专利]一种面向文本信息的敏感词过滤方法

说明书

本发明公开了一种面向文本信息的敏感词过滤方法，包括以下步骤：(1)接收用户的文本信息，验证文本信息的数据格式是否正确，若数据格式验证不通过，则回到步骤(1)；若通过验证，则转至步骤(2)；(2)对文本信息进行语义分析：从文本信息中取出一个词组，在语义分析库中进行匹配，得到词组的词重；按照词重对文本信息的所有词组重新排序，然后将排序后的文本信息转换成数组格式；(3)对数组格式的文本信息进行敏感词过滤；如果有敏感词存在，将匹配出的敏感词返回给用户；如果不存在，返回给用户一个空信息。本发明不仅对敏感词进行词重分类，并且对分完类的敏感词又按照字母类别分类，有效提高了敏感词的过滤速度。

技术领域

本发明涉及一种敏感词过滤方法，尤其涉及一种面向文本信息的敏感词过滤方法，属于网络安全技术领域。

背景技术

随着互联网行业的高速发展，网站内容日益丰富，用户数量急剧上升，给互联网管理工作带来了很大的压力。当前，不少用户将自己制作的内容通过互联网平台进行展示或者提供给其他用户，如UGC(User Generated Content，用户生产内容)网站或社交应用软件。伴随而来也会产生许多不符合互联网使用环境甚至违反国家法律法规的内容，即非法内容，如政治敏感、色情词汇等等，导致相关的网站因违反国家法律法规的强制性规定，存在安全运营风险。

因此，有必要采用技术手段对上述非法内容进行过滤。这就需要一些能够禁止或者过滤掉网站中非法内容的方法或者软件。由于互联网中存在着海量的数据，在对网站中的非法内容进行处理时，无需对整段整句内容进行检索，只需要对可能涉及到非法的敏感词进行检索即可。这就需要对敏感词进行过滤。通过敏感词过滤，可以将各种网络信息的内容里面不该出现的敏感词汇过滤掉，从而营造一个良好的互联网使用环境。

申请公布号为CN 102208992A的中国专利申请公开了一种面向互联网的不良信息过滤系统及其过滤方法。该不良信息过滤系统包括用户数据提交模块、用户服务管理系统、用户交互信息审核平台、净化服务运营平台、知识库及至少一个标引引擎，运用多项智能技术：分词、关键词匹配、向量模型，以及多个高性能的处理算法对数据进行处理，可以为互联网社区提供敏感、色情、低俗、灌水及商业广告等信息的标引服务。但是，该技术方案需要调用知识库中的实例库进行过滤。如果希望检索到更多、更全的内容时，需要更大词汇量的词库支持，这样给不良信息的过滤速度带来了很大的压力。

发明内容

针对现有技术的不足，本发明所要解决的技术问题在于提供一种面向文本信息的敏感词过滤方法。

为实现上述发明目的，本发明采用下述的技术方案：

一种面向文本信息的敏感词过滤方法，包括以下步骤：

(1)接收用户的文本信息，验证所述文本信息的数据格式是否正确，若数据格式验证不通过，则回到步骤(1)；若通过验证，则转至步骤(2)；

(2)对所述文本信息进行语义分析：从所述文本信息中取出一个词组，在语义分析库中进行匹配，得到所述词组的词重；按照词重对所述文本信息的所有词组重新排序，然后将排序后的文本信息转换成数组格式；

(3)对所述数组格式的文本信息进行敏感词过滤；如果有敏感词存在，将匹配出的敏感词返回给用户；如果不存在，返回给用户一个空信息。

其中较优地，所述步骤(1)中，所述文本信息采用可扩展标记语言XML的数据格式，包括用户ID、过滤内容和签名三个参数。

其中较优地，所述步骤(2)中，将文本信息转换成数组格式的步骤为：把每个词组的第一个字组成数组的键，把所述每个词组做成多维数组或者一维数组，所述每个词组的值为整个词组。

其中较优地，所述步骤(2)中，采用正则方式把文本信息转换成数组格式。

其中较优地，所述步骤(2)中，采用贪婪匹配算法对数组格式的文本信息进行匹配。