[发明专利]一种文本内容敏感性分析方法和装置

权利要求书

1.一种文本内容敏感性分析方法，其特征在于，预先对每个敏感词进行敏感度标注；所述方法包括：

获取当前待审核的文本内容；

对所述文本内容进行分词处理，得到一字词组，所述字词组包括至少一个字词；

从所述得到的字词组中查找敏感词；

当查找到敏感词时，将所述查找到的敏感词进行标记，记录所述敏感词的首字在字词组长度中的位置；所述字词组长度为所述字词组中所有文字的个数；

依据所述文本内容允许的最高敏感度等级X，将所述字词组长度平均划分为N个分区间，N＝2^X；N、X均为正整数；其中对于划分得到的N个分区间，其中有的分区间中不包括敏感词，有的分区间中包括至少一个敏感词，对于各个敏感词，该敏感词整体存在于一个分区间中，或该敏感词的一部分存在于一个分区间中，另一部分存在于另一个分区间中；

利用公式计算每一分区间的敏感度p_i；其中i为小于等于N的正整数 ，用于表示第i个分区间，e_smooth为熵的平滑系数，e_smooth大于0，用于避免当分区间中没有敏感词时p_i等于0，M为分区间中敏感词的个数，W_mlevel为敏感词的首字在第i个分区间中的敏感词的敏感度；其中在计算每个分区间的敏感度p_i时，是对该分区间内包括的至少一个敏感词的首字的敏感度的累加求和；

利用公式计算所述文本内容的敏感度E。

2.根据权利要求1所述的方法，其特征在于，所述对所述文本内容进行分词处理，得到一字词组后，所述方法还包括：

去除分词处理后得到的字词组中的停用词。

3.根据权利要求1所述的方法，其特征在于，所述从所述得到的字词组中查找敏感词包括：

将所述字词组中的字词逐个与敏感词词典中的字词进行比对；所述敏感词词典用于存储敏感词。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述文本内容允许的最高敏感度等级X等于5。

5.一种文本内容敏感性分析装置，其特征在于，包括：

敏感度标注单元，用于对每个敏感词进行敏感度标注；

获取单元，用于获取当前待审核的文本内容；

分词处理单元，用于对所述文本内容进行分词处理，得到一字词组，所述字词组包括至少一个字词；

查找单元，用于从所述得到的字词组中查找敏感词；

标记记录单元，用于当所述查找单元查找到敏感词时，将所述查找到的敏感词进行标记，记录所述敏感词的首字在字词组长度中的位置；所述字词组长度为所述字词组中所有文字的个数；

分区间划分单元，用于依据所述文本内容允许的最高敏感度等级X，将所述字词组长度平均划分为N个分区间，N＝2^X；N、X均为正整数；其中对于划分得到的N个分区间，其中有的分区间中不包括敏感词，有的分区间中包括至少一个敏感词，对于各个敏感词，该敏感词整体存在于一个分区间中，或该敏感词的一部分存在于一个分区间中，另一部分存在于另一个分区间中；

第一计算单元，用于利用公式计算每一分区间的敏感度p_i；其中i为小于等于N的正整数 ，用于表示第i个分区间，e_smooth为熵的平滑系数，e_smooth大于0，用于避免当分区间中没有敏感词时p_i等于0，M为分区间中敏感词的个数，W_mlevel为敏感词的首字在第i个分区间中的敏感词的敏感度；其中在计算每个分区间的敏感度p_i时，是对该分区间内包括的至少一个敏感词的首字的敏感度的累加求和；

第二计算单元，用于利用公式计算所述文本内容的敏感度E。

6.根据权利要求5所述的装置，其特征在于，还包括：

停用词处理单元，用于去除分词处理后得到的字词组中的停用词。