[发明专利]基于置信度引导的文本分类方法、装置和计算机设备

权利要求书

1.一种基于置信度引导的文本分类方法，其特征在于，所述方法包括：

将待分类的目标文本输入预训练的文本分类模型，分别得到所述目标文本被分到各个文本类别的置信度；所述置信度是根据所述目标文本对应的softmax函数值取对数得到的；

根据所述置信度以及文本类别数量和输入的目标文本的批量大小的乘积构建损失函数，通过优化所述损失函数更新所述文本分类模型；

采用更新后的所述文本分类模型进行所述目标文本的分类。

2.根据权利要求1所述的方法，其特征在于，根据所述置信度与文本类别数量和输入的目标文本的批量大小的乘积构建损失函数，包括：

根据所述置信度与文本类别数量和输入的目标文本的批量大小的乘积构建第一损失函数：

其中，L_conf(f_θ(x^t)，y^t))为第一损失函数，θ，t为文本分类模型参数，N为目标文本的批量大小，C为分类的文本类别数量，z_i为第i个文本类别对应的输出值。

3.根据权利要求2所述的方法，其特征在于，在根据所述置信度与文本类别数量和输入的目标文本的批量大小的乘积构建损失函数之前，还包括：

分别计算各个所述目标文本对应的第一大置信度和第二大置信度的差值；

当所述差值小于预设阈值，为对应的所述目标文本赋予第一注意力系数；

当所述差值不小于预设阈值，为对应的所述目标文本赋予第二注意力系数。

4.根据权利要求3所述的方法，其特征在于，根据所述置信度与文本类别数量和输入的目标文本的批量大小的乘积构建损失函数，包括：

根据所述第一注意力系数、所述第二注意力系数以及所述第一损失函数构建第二损失函数：

其中，L_cgtta(f_θ(x^t)，y^t)为第二损失函数，α为第二注意力系数，β为第一注意力系数。

5.根据权利要求3所述的方法，其特征在于，计算各个所述目标文本对应的第一大置信度和第二大置信度的差值，包括：

计算各个所述目标文本对应的第一大置信度和第二大置信度的差值为：

diff(f_θ(x^t))＝conf(f_θ(x^t))_1st-Conf(f_θ(x^t))_2nd

其中，diff(f_θ(x^t)为置信度差值，conf(f_θ(x^t)为置信度，conf(f_θ(x^t)_1st为第一大置信度，conf(f_θ(x^t)_2nd为第二大置信度。

6.根据权利要求3所述的方法，其特征在于，当所述差值小于预设阈值，为对应的所述目标文本赋予第一注意力系数，当所述差值不小于预设阈值，为对应的所述目标文本赋予第二注意力系数，包括：

当所述差值小于预设阈值，为对应的所述目标文本赋予第一注意力系数，当所述差值不小于预设阈值，为对应的所述目标文本赋予第二注意力系数为：

其中，y′^t为赋予注意力系数后文本分类模型的输出，为赋予注意力系数前，差值不小于预设阈值时文本分类模型的输出，为赋予注意力系数前，差值小于预设阈值时文本分类模型的输出，g_th为预设阈值。