[发明专利]文本模型再训练的方法、装置、设备及存储介质

权利要求书

1.一种文本模型再训练的方法，其特征在于，包括：

获取训练后的文本模型，对无标数据集合中的每个无标数据进行弱标注，并获取各所述弱标注的依据信息；其中，所述依据信息为无标数据在所述训练后的文本模型中的各预设类别的概率分布；

根据所述依据信息计算每一个所述弱标注的第一预测置信度；

判断所述第一预测置信度是否大于预设置信度值；

从各所述弱标注中提取大于所述预设置信度值的目标弱标注，并计算所述目标弱标注的损失值，以及根据所述依据信息拟合各个所述目标弱标注对应的所述无标数据的目标标签；

将所述目标标签作为所述目标弱标注对应的所述无标数据的输出，将所述无标数据集合作为所述文本模型的输入，并根据所述损失值调整所述文本模型中的参数，以对所述文本模型再训练。

2.如权利要求1所述的文本模型再训练的方法，其特征在于，所述根据所述依据信息计算每一个所述弱标注的第一预测置信度的步骤，包括：

从所述依据信息中提取所述无标数据在所述文本模型中各个类别的概率；

根据公式计算所述第一预测置信度；其中，E表示所述第一预测置信度，p_i表示第i个所述无标数据在所述文本模型中对应弱标注的概率，n表示所述无标数据集合的无标数据数量。

3.如权利要求1所述的文本模型再训练的方法，其特征在于，所述计算所述目标弱标注的损失值的步骤，包括：

获取所述无标数据集合中每个所述目标弱标注对应的所述无标数据的数据向量；

根据所述数据向量计算每两个所述数据向量之间的欧式距离；

根据所述欧式距离以及公式计算所述损失值，其中d_ij表示第i个无标数据和第j个无标数据对应数据向量之间的欧式距离，V_i表示第i个数据对应的数据向量，V_j表示第j个数据对应的数据向量，γ为常数，max(0，γ-d_ij)表示两者之间的最大值。

4.如权利要求1所述的文本模型再训练的方法，其特征在于，所述将所述目标标签作为所述目标弱标注对应的所述无标数据的输出，将所述无标数据集合作为所述文本模型的输入，并根据所述损失值调整所述文本模型中的参数，以对所述文本模型再训练的步骤之后，还包括：

根据再训练后的所述文本模型对所述无标数据集合进行弱标注，并获取当前所述文本模型进行弱标注的依据信息；

根据当前所述文本模型进行弱标注的依据信息计算所述弱标注的第二预测置信度；

判断所述第二预测置信度是否大于预设置信度值；

若所述第二预测置信度不大于所述预设置信度值，则判定所述文本模型再训练完成。

5.如权利要求1所述的文本模型再训练的方法，其特征在于，所述根据所述依据信息拟合各个所述目标弱标注对应的所述无标数据的目标标签的步骤，包括：

从所述依据信息中，获取所述无标数据集合中每个所述无标数据的概率分布；

将各所述无标数据对应的概率分布输入至公式中，得到各所述无标数据对应的目标标签；其中，表示第i个无标数据对应的目标标签，[f(x；θ]_ij表示模型第i个无标数据在第t类的概率，其中，β为所述无标数据集合，表示所述无标数据集合中的一个无标数据。

6.如权利要求1所述的文本模型再训练的方法，其特征在于，所述对无标数据集合中的每个无标数据进行弱标注的步骤，包括：

通过预测模型预测预设词库中的各个词替换各所述无标数据的概率；

根据所述概率，选取第一预设个数的目标词汇；

检测各个类别的预设词典中与所述目标词汇的重合个数；

将所述重合个数大于第二预设个数对应的目标类别作为所述无标数据的弱标注。