[发明专利]一种互联网舆情信息的分类处理方法

权利要求书

1.一种互联网舆情信息的分类处理方法，其特征在于，包括以下步骤：

(1)、将互联网舆情信息分为M类，从互联网网站下载、提取舆情信息，人工将其分为M类舆情信息中的一种，并以文本文件的格式保存在相应的文件目录中，每类选取f个的舆情信息文本作为训练文本；

(2)、采用汉字分词系统对每个训练文本进行分词，根据词性，从分出词语中选取名词和动词作为候选特征词进行筛选，对每一类舆情信息提取代表该类舆情信息的g个特征词，从而得到所有训练文本的G个特征词，其中G＝M×g；

(3)、获取主成分分析变换矩阵

按步骤(2)得到G个特征词在每个训练文本中出现的词频，向量化每一个训练文本，得到N个G维的向量x_i＝(x_i，1，x_i，2，...，x_i，G)，1≤i≤N，构成训练文本的向量矩阵(TM)_N×G，其中，N＝M×f；

计算N个训练文本在每一个维度上的均值：

m‾j=1NΣi=1Nxi,j,]]>

其中为N个训练文本向量在第j维上的均值，x_i，j表示第i个向量x_i在第j维上的值，1≤j≤G。

计算G个特征词之间的协方差矩阵C：

C(k,l)=1NΣi,j=1N(xi,k-m‾k)(xj,l-m‾l)]]>

其中x_i，k，x_j，l分别为向量x_i和x_j在第k与l维上的值，分别为样本在第k维和第l维上的均值，1≤i，j≤N，1≤k，l≤G，协方差矩阵C为对称矩阵，即有C(i，j)＝C(j，i)；

计算协方差矩阵C特征值λ_i及其对应的特征向量u_i(i＝1，2，...，G)，并按特征值的大小降序排列，即λ₁＞λ₂＞...＞λ_G；选取前r个特征值λ_i对应的主成分特征向量u₁，u₂，...，u_r，得到主成分分析变换特征矩阵A＝(u₁，u₂，...，u_r)^T，其中

r=min{t|λ1+λ2+...+λ1λ1+λ2+...+λG≥80%};]]>

(4)、获取BP神经网络模型的网络权值矩阵w与偏移值b

将训练文本的向量矩阵(TM)_N×G乘以主成分分析变换特征矩阵A的转置矩阵(A^T)_G×r，得到经主成分分析变换后的向量矩阵(TM_PCA)_N×r，将其中的N个r维行向量作为BP神经网络模型的N个输入向量，将每一个训练文本对应一个表示该训练文本所属舆情信息分类的M维输出向量，训练BP神经网络，当BP神经网络渐趋稳定时，保存训练好的神经网络模型参数，即网络权值矩阵w与偏移值b，获取BP神经网络模型；

(5)、获取决策树规则集

利用步骤(4)得到的神经网络模型，将训练文本的向量矩阵(TM)_N×G经主成分分析变换后得到的向量矩阵(TM_PCA)_N×r作为神经网络模型N个输入向量，计算得到对应的N个M维的神经网络模型输出向量，构成BP神经网络输出矩阵(TM_PCA_BP)_N×M；

在矩阵(TM_PCA_BP)_N×M中每一行都对应一个M维的神经网络输出向量，根据每一行对应训练文本所属的舆情信息分类，将每一个M维神经网络输出向量增加一维表示该训练文本所属的舆情信息分类，这N个M+1维向量构成了决策树样本矩阵(Sample)_N×(M+1)；

矩阵(Sample)_N×(M+1)中N个向量在第i(1≤i≤M)维上有k个不同的数x₁，x₂，...，x_k，对于其中的每个数x_j(1≤j≤k)，将N个向量在第i维上的值分为两类，小于x_j的为一类，不超过x_j的为另一类，第一类和第二类中分别有n₁和n₂个值，按如下公式求出N个行向量在第i维上基于x_j(1≤j≤k)的熵值：

I(xj)=-n1N*log2(n1N)-n2N*log2(n2N)]]>

将k个熵值中最大熵值对应的数x_j，记为maxS_i，计算N个向量在前M维上的最大熵值对应的数，得到一个熵值数组S＝{max S₁，max S₂，...，maxS_M}；根据熵值数组S对矩阵(Sample)_N×(M+1)中N个行向量在前M维上的值进行离散化，如果在第i维上的值大于等于maxS_i，则离散化为1，否则离散化为0；

然后利用C4.5决策树算法建立基于离散化后矩阵(Sample)_N×(M+1)的决策树分类模型，得到决策树规则集Rule；

(6)、从互联网网站下载、提取舆情信息，并以文本格式保存，作为待分类舆情信息文本，其个数为F；

(7)、采用汉字分词系统对每个待分类舆情信息文本进行分词，按步骤(2)得到G个特征词在每个待分类舆情信息文本中出现的词频，向量化每一个待分类舆情信息文本，得到F个G维的向量x_i＝(x_i，1，x_i，2，...，x_i，G)，1≤i≤F，构成待分类舆情信息文本的向量矩阵(T)_F×G；

将待分类舆情信息文本的向量矩阵(T)_F×G乘以步骤(3)得到的主成分分析变换特征矩阵A的转置矩阵(A^T)_G×r，得到经主成分分析变换后的向量矩阵(T_PCA)_F×r；

将主成分分析变换后的向量矩阵(T_PCA)_F×r中的F个r维向量作为步骤(4)获取BP神经网络模型的F个输入向量，计算出F个输入向量对应的F个M维的神经网络输出向量；

根据步骤(5)获得的熵值数组S对F个M维神经网络输出向量的每一维进行离散化；将离散化后的每一个M维神经网络输出向量与步骤(5)中得到的决策树规则集Rule中的决策树规则进行匹配，若有，则待分类舆情信息文本属于匹配决策树规则所标记的舆情信息分类。