[发明专利]一种在文本大数据中发现敏感数据的方法

权利要求书

1.一种在文本大数据中发现敏感数据的方法，其特征在于：包括如下步骤：

步骤一、建立敏感词信息库：敏感词信息库中的每条记录包括敏感词描述和扩展信息；利用敏感词的不规范描述词语构建变异词库并进行索引归类；

步骤二、对敏感词信息库中的所有敏感词建立敏感词语检索树；

步骤三、将经过预处理的文本以字符串流的形式通过检索树进行敏感词检索发现，同时统计每个敏感词的出现频率；

步骤四、利用敏感词的出现频率、文档类别和敏感词语的权重级别计算待检索文本的敏感度；

步骤五、将待检索文本的敏感度与预设的阀值进行比较，将敏感度值超过阀值的检索文本确定为敏感类文本。

2.根据权利要求1所述的一种在文本大数据中发现敏感数据的方法，其特征在于：所述敏感词描述包括节点的文本内容信息和拼音，所述扩展信息包括与该敏感词相关的变异词、领域访问敏感权重和词长。

3.根据权利要求2所述的一种在文本大数据中发现敏感数据的方法，其特征在于：所述领域访问敏感权重分为重要、一般和待审核三类。

4.根据权利要求1所述的一种在文本大数据中发现敏感数据的方法，其特征在于：所述敏感词的不规范描述词语包括词语的拆字、别字转化、网络语、拼音组合形成的词语。

5.根据权利要求1所述的一种在文本大数据中发现敏感数据的方法，其特征在于：对变异词进行索引归类的方法为：将敏感词的规范化描述形式的第一个汉字的unicode码和变异词的最后两个字的汉语拼音首字母的组合作为变异词的索引值。

6.根据权利要求5所述的一种在文本大数据中发现敏感数据的方法，其特征在于：建立敏感词语检索树的方法为：按照每个字的汉语拼音首字母，利用计算机数据结构中的典型树结构生成算法进行构建，同时每个规范化描述的词语存储相应的索引值。

7.根据权利要求1所述的一种在文本大数据中发现敏感数据的方法，其特征在于：步骤三所述对文本进行预处理的操作包括去掉标点符号、助词或停用词。

8.根据权利要求1所述的一种在文本大数据中发现敏感数据的方法，其特征在于：所述敏感词语检索树的每个节点包含的信息有：本节点的文本信息、子节点的指针、父节点的指针、权重、词长和索引值。

9.根据权利要求1所述的一种在文本大数据中发现敏感数据的方法，其特征在于：计算待检索文本的敏感度的公式为：

∑Degree_i＝∑frequence_i+class+∑γ*lev_i

其中：Degree_i表示每个词语的敏感度值，frequence_i表示敏感词的出现频率，frequence_i＝每个敏感词在文档中出现的次数/检索文档的词语总数；Class表示文档类别；lev_i表示敏感信息词库中该敏感词语的权重级别；权重系数γ根据不同的文档类别进行确定。

10.根据权利要求1所述的一种在文本大数据中发现敏感数据的方法，其特征在于：所述阀值根据不同的文档类别进行确定：通过计算不同类别文档的最高极值和最低极值，然后取最高极值和最低极值的中间值作为阀值。