[发明专利]一种用于舆情文本分析的半监督方法和装置

说明书

本发明提供了一种用于舆情文本分析的半监督方法和装置，针对标注样本、未标注样本采用半监督方法提高舆情文本分析的分类准确率，首先获取舆情数据集，对数据集进行预处理；预处理后的样本使用数据增强算法生成数据增强样本；使类别标签无监督抽取聚类方式为数据集中未标注的样本生成类别标签；采用词向量隐语义空间，计算相似度与线性插值运算，运算结果生成相似度插值样本；构建最终训练样本集；采用半监督方法并使用预训练语言模型，输入最终训练样本集，对模型进行训练得到分类模型，使用分类模型对测试集预测得出分类结果。对比传统文本分类实验表明，使用该方法和装置在少量标注舆情样本、未标注舆情样本情况下提高舆情文本分类的准确率。

技术领域

本发明涉及自然语言处理领域，特别涉及一种用于舆情文本分析的半监督方法和装置。

背景技术

自然语言处理领域现有的分类方法包括有监督分类、半监督分类、无监督分类等方法。其中有监督分类方法需要大量标记样本，人工标注成本较高，不适用于某些特定场景；无监督分类不需要数据的类别信息，应用广泛，但由于缺乏类别导致分类效果不明显。半监督学习是将有监督学习和无监督学习结合，将未标记样本与少量标记样本结合使用可以提高分类准确率，同时解决了标签样本较少时监督学习方法泛化能力不强和缺少样本标签导致无监督学习方法不准确的问题。通过扩展训练样本集的语义特征，并限制选取扩展特征词的个数，以减少扩展后引入过多噪声而造成的效果不明显，然后使用基于半监督学习方法，充分利用未标注样本改进分类模型性能。用更新过的训练样本集来训练分类模型并预测，达到充分利用大量未标注样本来提高分类效果。

发明内容

本发明的目的在于提供一种用于舆情文本分析的半监督方法和装置，以克服现有技术中的不足。

为实现上述目的，本发明提供如下技术方案：

本发明公开了一种用于舆情文本分析的半监督方法，具体包括如下步骤：

S1、获取原始舆情数据集，所述原始舆情数据集包括标注样本、未标注样本和类别标签，其中未标注样本数量少于标注样本数量；

S2、对所述原始舆情数据集进行文本预处理；将原始舆情数据集按比例划分训练集与测试集；

S3、针对训练集，将标注样本和未标注样本采用数据增强方法分别得到：标注样本对应的增强样本、未标注样本对应的增强样本；

S4、计算标注样本的分类交叉熵损失；计算得出未标注样本与未标注样本对应的增强样本之间的相对熵损失；根据交叉熵损失、相对熵损失，计算得出未标注样本和标注样本的整体损失；

S5、针对未标注样本与未标注样本对应的增强样本，通过无监督抽取聚类方式得到聚类标签；

S6、计算聚类标签的相似度；校验聚类标签的相似度是否大于预先设置的类别标签相似度阈值；若大于，将大于类别标签相似度阈值的聚类标签构建置信类别标签；

S7、通过标注样本、标注样本对应的增强样本、未标注样本和未标注样本对应的增强样本之间的词向量隐语义空间，计算余玄相似度，得出相似度样本，再进行线性插值运算，运算结果生成相似度插值样本；

S8、校验相似度插值样本的相似度是否大于预先设置的插值样本相似度阈值；若大于，将大于插值样本相似度阈值的相似度插值样本构建置信样本；

S9、 使用原始舆情数据集的类别标签、置信类别标签、置信样本、标注样本对应的增强样本、未标注样本对应的增强样本，构建最终训练数据集；

S10、使用步骤S9中最终训练数据集的标注样本对应的增强样本、原始舆情数据集的类别标签进行训练，得到初始文本分类模型，根据分类效果调整初始文本分类模型参数，再将最终训练数据集的置信类别标签、置信样本、未标注样本对应的增强样本，输入初始文本分类模型中，迭代训练得到最终的文本分类模型；