[发明专利]一种结合监督学习的中文文本分类方法

摘要

本发明公开了一种结合监督学习的中文文本分类方法，属于自然语言处理技术领域，WMD算法用于文本分类领域时，因分类标准的不同导致特定条件下文本分类的结果准确度较低。为使WMD算法适应不同分类条件，本发明结合监督学习的方法，引入变换矩阵A和初始值为1的权重向量w来改进算法。为了训练参数A，w,利用NCA算法对带标签的训练集进行训练，得到变换矩阵A的初始值,而后利用随机数β对A，w进行迭代更新直到该算法的损失函数收敛。利用最终的A，w改进WMD算法表达式并以此计算文本的最小距离，该距离的大小代表在特定分类条件下待测试文本的相似度的高低。本发明改进了不同分类条件下文本相似度的准确性，具有一定实用价值。

主权项

一种结合监督学习的中文文本分类方法，其特征在于：具体包含如下步骤：步骤1，获取网络上的文本语料，对m条文本语料进行分词并去除结构性词语；其中，m为正整数；步骤2，利用word2vec算法获取m条文本语料中所有单词的词嵌入Xi，并构建一个d*n的词嵌入矩阵X，其中，d是每个词嵌入的维度，n是词嵌入的数目；步骤3，生成每条文本语料的词袋模型向量nBOW；则m条语料生成m个nBOW，记为di，其中，i<m，给每个di标注标签yi；步骤4，计算训练集参数ci，具体如下：ci＝Xdi；步骤5，根据训练集参数ci生成训练集：trainning set＝{(c1,y1),(c2,y2),(c3,y3)...(cn,yn)}，其中n≤i；步骤6，利用NCA算法对训练集进行训练，进而得到初始变换矩阵A0，具体如下：A0＝NCA(tranning set)；设w0＝1，其中，w0为初始权重向量；步骤7，根据A0和w0判断NCA损失函数是否收敛：若损失函数不收敛，则利用随机数β计算梯度gA,w，进而更新变换矩阵A和权重向量w，直至损失函数收敛，获取最终的变换矩阵A和权重向量w；步骤8，根据最终的变换矩阵A和权重向量w对WMD算法通式进行改进，生成最终的WMD算法表达式，计算文本距离，进而通过文本距离的大小完成文本分类。