[发明专利]文本模型的训练方法、识别方法、装置、设备及存储介质

权利要求书

1.一种基于联邦学习的文本模型的训练方法，其特征在于，包括：

获取待训练集数据，基于所述待训练集数据训练预置语言模型，得到所述预置语言模型的模型参数信息；

将所述模型参数信息加密并上传至预置聚合联邦模型，以获取所述预置聚合联邦模型对所述模型参数信息进行联邦学习后返回的聚合模型参数信息；

基于所述聚合模型参数信息更新所述预置语言模型，得到对应的文本模型。

2.如权利要求1所述的基于联邦学习的文本模型的训练方法，其特征在于，所述待训练集数据包括待训练文本，所述预置语言模型包括预置预训练语言模型和预置双重传播模型，所述模型参数信息包括第一模型参数信息和第二模型参数信息；

所述基于所述待训练集数据训练预置语言模型，得到所述预置语言模型的模型参数信息，包括：

基于所述待训练文本训练所述预置预训练语言模型，获取所述预置预训练语言模型输出所述待训练文本对应的第一语义向量信息，以及获取训练后所述预置预训练语言模型的第一模型参数信息；

基于所述第一语义向量信息对所述预置双重传播模型进行训练，获取训练后所述预置双重传播模型的第二模型参数信息。

3.如权利要求1所述的基于联邦学习的文本模型的训练方法，其特征在于，所述模型参数信息包括第一模型参数信息和第二模型参数信息；

所述将所述模型参数信息加密并上传至预置聚合联邦模型，以获取所述预置聚合联邦模型对所述模型参数信息进行联邦学习后返回的聚合模型参数信息，包括：

将所述第一模型参数信息加密并上传至预置聚合联邦模型，获取所述预置聚合联邦模型对所述第一模型参数信息进行横向联邦学习后返回的第一聚合模型参数信息；

将所述第二模型参数信息加密并上传至预置聚合联邦模型，获取所述预置聚合联邦模型对所述第二模型参数信息进行横向联邦学习后返回的第二聚合模型参数信息。

4.如权利要求3所述的基于联邦学习的文本模型的训练方法，其特征在于，所述预置语言模型包括预置预训练语言模型和预置双重传播模型，所述文本模型包括文本编码模型和文本识别模型；

所述基于所述聚合模型参数信息更新所述预置待训练语言模型，得到对应的文本模型，包括：

基于所述第一聚合模型参数信息更新所述预置预训练语言模型的第一模型参数信息，生成对应的文本编码模型；

基于所述第二聚合模型参数更新所述预置双重传播模型的第二模型参数，生成对应的文本识别模型。

5.如权利要求4所述的基于联邦学习的文本模型的训练方法，其特征在于，所述生成对应的文本编码模型和/或生成对应的文本识别模型之前，包括：

确定所述预置预训练语言模型和/或所述预置双重传播模型是否处于收敛状态；

若确定所述预置预训练语言模型和/或预置双重传播模型处于收敛状态，则将所述预置预训练语言模型作为文本编码模型和/或将所述预置双重传播模型作为文本识别模型；

若所述预置预训练语言模型和/或所述预置双重传播模型未处于收敛状态，则根据预置待训练样本数据训练所述预置预训练语言模型和/或所述预置双重传播模型，得到训练后所述预置预训练语言模型的第三模型参数信息和/或所述预置双重传播模型的第四模型参数信息。

6.一种基于联邦学习的文本模型的识别方法，其特征在于，包括：

获取待预测文本；

基于文本编码模型和所述待预测文本，获取所述文本编码模型输出所述待预测文本的第二文本语义向量信息；

基于文本识别模型和所述第二文本语义向量信息，获取所述文本识别模型输出所述第二文本语义向量信息的标签信息；

根据所述标签信息，确定所述待预测文本是否违规，其中，所述文本编码模型和所述文本识别模型为如权利要求1-5所述的基于联邦学习的文本模型的训练方法得到的。