[发明专利]一种文本内容敏感性分析方法和装置

摘要

本发明提供一种文本内容敏感性分析方法和装置。方法包括：预先对每个敏感词进行敏感度标注；获取当前待审核的文本内容；对所述文本内容进行分词处理，得到一字词组；从所述得到的字词组中查找敏感词；当查找到敏感词时，将所述查找到的敏感词进行标记，记录所述敏感词的首字在字词组长度中的位置；依据所述文本内容允许的最高敏感度等级X，将所述字词组长度划分为N个分区间，N＝2^X；利用公式计算每一分区间的敏感度p_i；利用公式计算所述文本内容的敏感度E。本发明实现了发稿系统自动分析文本内容的敏感度的功能，无需编辑者对所有待发布的文本内容进行敏感性分析，大大减少了编辑者的工作量，提高了稿件的发布效率。

主权项

1.一种文本内容敏感性分析方法，其特征在于，预先对每个敏感词进行敏感度标注；所述方法包括：获取当前待审核的文本内容；对所述文本内容进行分词处理，得到一字词组，所述字词组包括至少一个字词；从所述得到的字词组中查找敏感词；当查找到敏感词时，将所述查找到的敏感词进行标记，记录所述敏感词的首字在字词组长度中的位置；所述字词组长度为所述字词组中所有文字的个数；依据所述文本内容允许的最高敏感度等级X，将所述字词组长度平均划分为N个分区间，N＝2X；N、X均为正整数；其中对于划分得到的N个分区间，其中有的分区间中不包括敏感词，有的分区间中包括至少一个敏感词，对于各个敏感词，该敏感词整体存在于一个分区间中，或该敏感词的一部分存在于一个分区间中，另一部分存在于另一个分区间中；利用公式计算每一分区间的敏感度p_i；其中i为小于等于N的正整数 ，用于表示第i个分区间，e_smooth为熵的平滑系数，e_smooth大于0，用于避免当分区间中没有敏感词时p_i等于0，M为分区间中敏感词的个数，W_mlevel为敏感词的首字在第i个分区间中的敏感词的敏感度；其中在计算每个分区间的敏感度p_i时，是对该分区间内包括的至少一个敏感词的首字的敏感度的累加求和；利用公式计算所述文本内容的敏感度E。