[发明专利]敏感词的检测方法

权利要求书

1.一种敏感词的检测方法，其特征在于，包括以下步骤：

建立敏感词数据库，所述敏感词数据库根据敏感类型分为强敏感词数据库和弱敏感词数据库；

建立训练模型，所述训练模型包括预判模型和弱敏感词的检测模型，其中，所述预判模型用于判断待检测文本的敏感类型；设立所述弱敏感词的检测模型包括：根据所述弱敏感词数据库中的弱敏感词进行检索得到敏感词网页，获取敏感词网页中包含有弱敏感词的文本信息；对所述文本信息进行打标，采用打标后的文本信息建立弱敏感词的检测模型；

进行检测，载入所述训练模型的系统定时爬取待检测的网页内容，所述预判模型判断待检测网页内待检测文本中的词语是否属于敏感词数据库中，并判断其敏感类型；若待检测文本中的词语为强敏感词数据库中的强敏感词，则直接反馈待检测文本所属的强敏感词数据库的类型；若待检测文本中的词语为弱敏感词数据库中的弱敏感词，则将待检测文本输入弱敏感词的检测模型进行检测，由弱敏感词的检测模型判断其敏感可疑度分值并反馈。

2.如权利要求1所述的敏感词的检测方法，其特征在于，所述强敏感词数据库中的强敏感词为在任何前后文语义下都敏感的词语，所述强敏感词数据库中的种类包括淫秽强敏感词库、博彩强敏感词库以及商广强敏感词库；

所述弱敏感词数据库中的弱敏感词为在不同语义下具有不同解释，且具有至少一种解释导致敏感，也具有至少一种解释导致不敏感的词语，所述弱敏感词数据库中的种类包括淫秽弱敏感词库、博彩弱敏感词库以及商广弱敏感词库。

3.如权利要求1所述的敏感词的检测方法，其特征在于，获取包含有弱敏感词的文本信息包括以下步骤：

以弱敏感词为中心词做前后文本均匀扩展，以标点符号为停止扩展信号。

4.如权利要求1所述的敏感词的检测方法，其特征在于，打标包括以下步骤：

判断所述文本信息是否敏感，将敏感和不敏感的文本信息分别标记。

5.如权利要求2所述的敏感词的检测方法，其特征在于，打标之后，建立弱敏感词的检测模型之前，还包括以下步骤：

将打标后的文本信息进行拆分和过滤，以得到每条文本信息中具有语义的所有词语。

6.如权利要求5所述的敏感词的检测方法，其特征在于，建立弱敏感词的检测模型包括以下步骤：

将各条文本信息中具有语义的所有词语归属于各自的训练文本单元中，根据弱敏感词数据库的种类对每条训练文本单元进行分类；

分别将属于各个种类的弱敏感词库的训练文本单元进行向量化；

采用LSTM网络根据向量化后的训练文本单元建立弱敏感词的检测模型。

7.如权利要求2所述的敏感词的检测方法，其特征在于，建立所述预判模型包括建立多模式匹配算法，建立多模式匹配算法包括以下步骤：

预设数组长度：取所述每个种类强敏感词库中存储数据的最大容量值，设为第一预设值a，取所述强敏感词库的种类数量的最大值，设为第二预设值x，取所述每个种类弱敏感词库中存储数据的最大容量值，设为第三预设值b，取所述弱敏感词库的种类数量的最大值，设为第四预设值y，数组长度L＝max(a,b)*(x+y)；

建立数组：将所有种类的强敏感词库中的数据以及所有种类的弱敏感词库中的数据依次导入数组中，并将依次导入的数据按照种类分段，并将每段的名称确定为其对应的种类名称。

8.如权利要求7所述的敏感词的检测方法，其特征在于，进行检测过程中，所述预判模型判断待检测网页内待检测文本中的词语的敏感类型包括以下步骤：

输入待检测网页内的待检测文本，根据多模式匹配算法中数组检索得到索引下标z；

计算得到索引下标z的所属段的方式为：计算z/max(a,b)，对计算结果向上取整；

根据计算得到的所属段匹配对应的敏感词库的种类名称，即判断出待检测文本中的词语的敏感类型。