[发明专利]一种基于局部随机词汇密度模型POI中文文本分类的方法

权利要求书

1.一种基于局部随机词汇密度模型POI中文文本分类的方法，其特征在于，该基于局部随机词汇密度模型海量兴趣点POI中文文本分类的方法包括以下步骤：

采用贝叶斯分类器判断文本主题是否为POI相关，利用改进的词汇集中度、离散度和频度方法，筛选出特征词以构建特征空间；

依据文本与各POI类别的相似度进行局部区域划分，在每个局部区域内通过特征映射矩阵将文本转为特征向量；

最终利用SVM进行POI文本分类；

具体的步骤为：

第一步，文档有效性判断：采用贝叶斯分类器，基于文档词频向量模型进行分类器训练，只要文本中含有较多某一类或若干类POI常涉及的词汇，则即可被判断为有效；再建立局部随机词汇密度模型；

第二步，基于词汇离散度、集中度和频度选取出特征词，以特征词为维度构建特征空间；

第三步，局部区域划分：在局部区域划分方法中，属于同一POI类别的文本均属于相同的局部区域，且每个局部区域需包含其他各类别一定数量的文本作为反例，为每个局部区域设置反例文本数量的方法为：

设类别总数为m，当前设置反例数量的类别为c_x，计算c_i(i∈{1,…,x-1,x+1,…,m})中所有文档与类别c_x的相似度(d_ij表示c_i类别中第j篇文档)，相似度大于阈值λ的文本作为c_x的反例，相似度公式为：

$l_{d_{ij}\→c_x}={\left(\frac{\underset{v=0}{\overset{\left|c_x\right|}{\Σ}}{\mathrm{dist}}_{ij\→x}(d_{ij},d_{xv})}{\left|c_x\right|}\right)}^{-1}$

其中，dist_ij→x(d_ij,d_xv)为类别i内文档j和类别c_x内文档v的文本距离；

第四步，局部特征映射矩阵的获取：求解每个局部区域内的映射矩阵M^j(j表示第j个局部区域)，映射矩阵的获取过程，M^j表示为M，具体方法为：

步骤一，定义

词汇表：W＝{w₁,w₂,…,w_n}，为POI文本集中所有的词汇，其中词汇总数为n＝|W|；

文档词频向量模型：d＝{x₁,x₂,…,x_j,…x_n}，其中，x_j代表词汇w_j在文档中出现的次数；

某局部文档集合：X＝{d₁,d₂,…,d_t}，t＝|X|，为某局部区域文档数量；

文档类别：Y＝{y₁,y₂,…,y_c}，其中，y_j表示c_j类别的文本数量；

特征词：F＝{w_f1,w_f2,…,w_fr}∈W，其中，r＝|F|且r<<n，为特征词数量，也为特征空间的维度总数；

步骤二，虚拟文档构建

基于概率p删除原始文本词频向量中的每一个词汇，经过u次这样的操作，便为每个文本向量d_i创建u个虚拟文档矢量

步骤三，局部特征映射矩阵计算公式：假设存在特征向量用以表达文本d_i在局部区域内的正确特征向量，学习映射矩阵以使得所有虚拟文档通过其被转换到特征空间后，与其正确特征向量的误差平方和最小：

$\mathrm{\&Delta;}d\frac{1}{2}\&times;t\&times;u\&times;\underset{i=1}{\overset{t}{\&Sigma;}}\underset{j=1}{\overset{u}{\&Sigma;}}\left|\right|{\stackrel{\&OverBar;}{d}}_i-M{{\hat{d}}_i}^j|{|}^2$

由上，可在局部区域中利用局部区域文档定义局部虚拟文档集合矩阵：

类似，在局部文档空间中定义t组由所有文档的正确特征向量构成的矩阵，其中每组包含u个相同的正确文本特征向量：

由此，局部区域文本重构误差平方为：

$\mathrm{\&Delta;}D=\frac{1}{2}tu\left|\right|\stackrel{\&OverBar;}{D}-M\hat{D}|{|}_F^2$

其中，为Frobenius平方范式，上式的最小化可以通过最小线性二乘法求得：

M＝RQ^-1，而

第五步，映射矩阵求解：假设该局部区域中虚拟文档向量的总数趋向于无穷，即t→∞，这时式中的R和Q将收敛到他们的期望值，变为：

M＝E[R]E[Q]^-1

而R和Q的期望值分别为：

$E\&lsqb;R\&rsqb;=\underset{i=1}{\overset{t}{\&Sigma;}}E\&lsqb;{\stackrel{\&OverBar;}{d}}_i{{\hat{d}}_i}^T\&rsqb;,E\&lsqb;Q\&rsqb;=\underset{i=1}{\overset{t}{\&Sigma;}}E\&lsqb;{\hat{d}}_i{\hat{d}}_i^T\&rsqb;$

标准因子分解能求解出期望值，定义矢量q：

其中，(1-p)为词汇在虚拟文档向量中的存在概率，由局部文档的散布矩阵为S＝DD^T，可知：

E[R]_αβ＝S_αβq_α；E[Q]_αβ＝S_αβq_αq_β，if α≠β或E[Q]_αβ＝S_αβq_α，if α＝β

其中，α、β分别为矩阵的行列值，E[Q]对角线上的元素为同一词汇相乘的结果，词汇在虚拟文档向量中存在的概率为(1-p)，因此，E[Q]对角线上的元素等于S乘上q，而E[Q]非对角线上的元素为两个不同词汇相乘的结果，因此，两个不同词汇同时存在的概率为(1-p)²，即E[Q]非对角线上的元素等于S乘上q_α和q_β；

第六步，特征向量的归一化：通过线性映射M：可将文档转换到特征空间，为了对大规模POI文本向特征空间转换时表达和计算的方便，利用sigmoid函数对映射公式进行平滑和归一化处理：

$s_i=sigmoid\left({\mathrm{Md}}_i\right)=\frac{1}{1+e^{-a({\mathrm{Md}}_i+b)}}$

此时，原始文档向量d_i通过映射矩阵M即可对应到特征空间向量s_i，其中a和b为可调系数，以便依据POI文本集中词汇分布特点调整特征词之间的语义距离；

第七步，词汇删除和重建过程的迭代：映射矩阵对不同文本中特征词与普通词的映射能力较弱，这可通过第一步至第五步迭代执行，让映射矩阵进一步反映特征词之间的语义关系来解决这一问题，即在每次迭代中将局部区域文本通过映射矩阵M_j转为特征向量，再将特征向量作为原始文本向量，再一次进行词汇删除和重建过程，从而得到新的特征映射矩阵M_j+1，依此反复，最终存在一个k值，使得经过k次迭代后，文档特征向量收敛于某个固定向量；

假设文档d_i经过了k次模型迭代，最终得到的特征空间向量为：

$s_i={\left\{\frac{s_i^1+\mathrm{...}+s_i^k}{k}\right\}}^T;$

第八步，分类器训练和分类：在每个局部区域中，利用其映射矩阵将训练集中所有文本转换为特征向量，并放入该局部区域的二值分类器进行训练，之后该分类器就能用来判断测试文本是否为该局部区域所属的POI类别，同样，在每个局部区域执行第二步至第七步的操作，即可最终判断测试文本所属的POI类别。