[发明专利]一种基于内容的恐怖文本识别方法

摘要

本发明公开了一种基于内容的恐怖文本识别方法，该方法包括首先，对需要识别的文本进行预处理，以消除错误数据和冗余数据对识别结果的消极影响；其次，构建基于内容的文本分类器模型，该模型能够分别利用文本标题分类器和文本内容分类器对文本标题和文本内容进行独立识别，然后将两种识别结果进行决策融合，最终得出识别结果；最后，将格式化后的待识别文本数据作为基于文本分类器模型的输入，该模型的输出即为文本的识别结果。该方法在实验数据库上能够取得良好的实验效果，其识别结果具有较高的可靠性和稳定性。

主权项

一种基于内容的恐怖文本识别方法，该方法包括以下几个步骤：步骤1：对训练文本集合和待识别的文本进行预处理；步骤2：利用预处理后的训练文本集合构建基于内容的文本分类模型；步骤3：将预处理后的待识别文本作为文本分类模型的输入进行识别，文本分类模型的输出即为识别结果；所述步骤2包括：步骤21：对经过步骤1处理过的训练文文本进行第一次特征提取，并将提取出的特征词作为种子词；步骤22：利用步骤21中的种子词并结合期望相似度算法对经过步骤1处理过的训练文本进行第二次特征提取，并将步骤21和该步骤中提取的特征词作为恐怖文本的特征词；步骤23：根据所提取的特征词利用SVM构建文本内容分类器；步骤24：根据所提取的特征词利用朴素贝叶斯算法构建文本标题分类器；步骤25：构建基于统计学的融合策略；其中，步骤22包括：度量步骤21中得到的种子词构成的种子词库中每个种子词的分布与每个训练文本中每个词的分布的KL距离，即信息熵：G(Eθ[fsk(w,s)])=Σsfsk′^·logfsk′^Eθ[fsk(w,s)]]]>其中，w表示训练文本向量；s表示类别标签；fsk(w，s)表示训练文本中的词k在训练文本向量中的文档频率，表示的是种子词库中的种子词k′在训练文本向量中的文档频率；θ为拉格朗日算子；k′表示的是种子词库中的某个词；k表示的是训练文本中的某个词；其中，Eθ[fsk(w，s)]的计算公式为：Eθ[fsk(w,s)]=EP(w)~[EPθ(s|w)[f(w,s)]]=P(w)~Pθ(s|w)f(w,s)|w=wi,s=j,k∈wi]]>wi表示第i个训练文本，s取第j类标；这里Pθ(s|w)采用最大熵描述：θsi表示的是在文本w中第i个词的权重，ti为文本w中的第i个词；并且Z(w)＝∑sexp(∑iθsiti)；属性函数fjk(w，s)表示的是词k在类别s下的分布，定义为其中D为训练文本集合的文本数量，即文本数据库；δ(x)是一个指示函数，当且仅当x为真时，其值为1，否则为0；w为一个文本，是一个词的集合，可以表示为一个向量w＝{t1，t2，...，tm}；s表示的是一个文本的类别标签，即为恐怖或非恐怖；于是，可将Eθ[fsk(w，s)]最终表示为：Eθ[fsk(w,s)]=EP(w)~[EPθ(s|w)[fsk(w,s)]]=P(w)~·Pθ(s|w)·fsk(w,s)|w=wi,si=j,k∈wi]]>表示的是文本w的先验分布；利用公式G(Eθ[fsk(w，s)])遍历所有训练文本中的每个词，当其值大于给定的阈值时，便将该值对应的文本中的词作为恐怖文本的一个特征词，最后将这些选出来的特征词和种子词库中的种子词一起作为文本的内容特征。