[发明专利]一种未标注文本的半监督分类方法

说明书

本发明属于自然语言处理领域，涉及一种未标注文本的半监督分类方法。该方法首先使用预训练语言模型计算输入文本的文本向量；然后提取类向量和未标注文本对应的增广类向量；接着使用类向量对正、负例文本进行预测并计算标注文本预测误差，同时使用增广类向量计算未标注文本的伪标签并计算未标注文本的预测误差；接着使用预测误差对网络参数进行更新完成神经网络模型训练；最后以正例文本和未标注文本作为已训练好的神经网络模型的输入，输出未标注文本的类别。本发明不需要人工对大量未标注文本进行标注，相对于传统监督学习文本分类算法，本发明能在仅有少量标注文本的情况下，较准确地区分未标注文本的类别。

技术领域

本发明属于人工智能自然语言处理领域，涉及一种未标注文本的半监督分类方法。

背景技术

随着我国互联网的普及，各个互联网平台每天都会产生有海量的文本数据。对这些文本数据进行分析，能够有效提高诸如客服、搜索等服务的质量。文本分类，即判断文本是否属于特定类别，是基础的文本分析工作之一。传统基于规则的文本分类方法需要人工针对特定类别构建规则进行分类。这种做法需要耗费大量的人力物力，而且构建出规则可能受人工理解偏差的影响。因此，基于监督学习的端到端神经网络被广泛应用于文本分类任务上。文本分类的结果在实际应用中可以用于优化舆情监控、问答机器人和内容检索等服务。

现有基于监督学习的文本分类方法，需要事先标注大量正负例文本用于模型训练。由于新定义的文本类别往往缺乏标注数据，训练数据的标注需要耗费人力以及较长的时间，这导致无法快速针对新出现的类别进行分类。

发明内容

本发明针对现有文本分类方法的不足，提供一种未标注文本的半监督分类方法。

本发明采用如下技术方案实现：

一种未标注文本的半监督分类方法，包括以下步骤：

S1、对每一条采集到的正例文本、负例文本和未标注文本，使用预训练语言模型得到对应的正例文本向量、负例文本向量和未标注文本向量；

S2、使用动态路由算法从步骤S1中的正例文本向量提取类向量

S3、使用神经张量模型计算类向量和文本向量距离的方法计算步骤S1中的正例文本向量和负例文本向量到步骤S2的类向量的距离，并计算正、负例文本预测误差值L₁；

S4、对于每一条未标注文本假定其为正例文本，使用动态路由算法使用步骤S1中的正例文本向量和未标注文本向量计算提取增广类向量；

S5、使用增广类向量计算未标注文本伪标签

S6、使用神经张量模型计算步骤S1中未标注文本向量和步骤S2的类向量的距离d′，并根据步骤S5的未标注文本伪标签计算未标注文本预测误差值L₂；

S7、使用步骤S3和步骤S6的误差L₁和L₂，利用反向传播算法进行神经网络模型参数的更新并完成神经网络模型训练；

S8、使用步骤S7训练好的神经网络模型和正例文本对待分类的文本进行分类。

优选地，步骤S1中使用预训练的BERT模型，计算各个字符在所在文本中的向量表示，并取文本首字符的向量表示作为文本的向量表示，最终得到正例文本向量、负例文本向量和未标注文本向量。

优选地，步骤S2包括：使用动态路由算法对k个正例文本向量进行r次迭代，计算出各个正例文本向量的权重最终通过计算出类向量

优选地，使用神经张量模型计算类向量和文本向量距离的方法包括：根据类向量和文本向量的维度定义N个矩阵，对于每个矩阵M_i使用作为向量中的第i维，并使用作为类向量和文本向量之间的距离d。