[发明专利]一种基于BERT-base网络的带噪半监督文本分类方法

权利要求书

1.一种基于BERT-base网络的带噪半监督文本分类方法，其特征在于包括如下步骤：

S1、数据初始化阶段：将无标签样本做回译操作并产生新样本，然后将新样本输入模型，最后将其中高置信度的输出向量转化为对应one-hot标签；

S2、数据增强阶段：采用FGM方法添加扰动并作插值处理，在BERT中特定Transformer隐层而非词向量编码层做扰动和插值处理；

S3、损失函数的构造阶段；损失函数loss＝l_s+l_sce，第一项为对带标签样本的模型输出和其真实标签求交叉熵，第二项为插值标签与插值模型输出的对称交叉熵；

S4、模型参数更新阶段：

S5、模型应用阶段：使用训练好的模型，将测试文本输入模型，模型输出向量中最大概率处对应的类别即为预测所属的分类。

2.根据权利要求1所述的一种基于BERT-base网络的带噪半监督文本分类方法，其特征在于步骤S1具体实现如下：

S11、将无标签样本通过机器翻译工具翻译成其他语言之后再翻译回原语言，以此方式由样本得到样本其中j∈{1,2,…,N_u}，N_u为一个批次样本中无标签样本数量；

S12、将样本输入分类模型得到输出向量若即分类模型以一个高于阈值τ的置信度将该样本做出分类，则赋予一个one-hot预测标签标签同时对应样本和样本θ表示模型参数；

S13、若样本被赋予了one-hot标签，则也将无标签样本输入模型得到输出向量将带标签样本输入模型得到输出向量

3.根据权利要求2所述的一种基于BERT-base网络的带噪半监督文本分类方法，其特征在于步骤S2具体实现如下：

S21、BERT-base网络主要由1个词向量编码层和12个Transformer架构的隐藏层构成，这里针对无标签样本在BERT-base第3层隐藏层的输出添加扰动r_j＝ε·g_j/||g_j||，其中即向量的L2正则对该隐藏层输出h求梯度,ε为正超参数,||·||表示求向量二范数；设无标签样本的第3层隐藏层的输出为则扰动后结果为

S22、在BERT-base网络中第7、9、12隐藏层中随机选择一层进行无标签样本和有标签样本隐藏层输出的插值操作；设和分别为样本有标签样本和无标签样本在分类模型隐藏层中第k层的输出，k∈{7,9,12}；对应的真实标签和预测标签分别为和

4.根据权利要求3所述的一种基于BERT-base网络的带噪半监督文本分类方法，其特征在于所述的插值操作步骤如下：

S221、利用Beta分布产生一个0～1之间的随机数λ；

S222、取λ₁＝max{λ,1-λ}，λ₂＝min{λ,1-λ}，即λ₁＞λ₂且λ₁+λ₂＝1；

S223、计算

S224、将输入第k+1层隐藏层，并经后面若干隐藏层的计算得到插值模型输出；将S2步骤整个过程记为f'(·)，则插值模型输出记为two-hot形式的插值标签记为