[发明专利]基于联邦学习的分布式语言关系识别方法、系统和装置

权利要求书

1.一种基于联邦学习的分布式语言关系识别方法，其特征在于，所述方法包括：

步骤S100，各个本地平台获取待识别数据和带标签的本地训练数据；

步骤S200，各个本地平台通过带标签的本地训练数据训练第一本地分类器模型，获得第二本地分类器模型，其方法为：

步骤S210，令t=1，通过BERT模型进行所述带标签的本地训练数据的编码操作，将所述带标签的本地训练数据的每个句子生成1个句子特征化表示和多个实体特征化表示；

步骤S220，选取所述带标签的本地数据的第t句子，选取2个实体特征化表示，并将选取的2个实体特征化表示和所述句子特征化表示拼接生成蕴含实体信息的句子表示：

其中，为句子特征化表示，为第1个选取的实体特征化表示，为第2个选取的实体特征化表示，表示实数空间，表示每个特征化表示的维度；

步骤S230，基于所述蕴含实体信息的句子表示，通过第一本地分类器模型获取带标签的本地训练数据的预测语言关系p：

其中，表示每个蕴含实体信息的句子表示的预测关系分布，预测关系分布中数值最大的为最终预测关系p，表示关系标签，表示句子的集合，表示模型参数，W和b为训练过程中调整的可训练参数，softmax表示通用的softmax分类器；

步骤S240，令t=t+1并跳转至步骤S220，通过随机梯度下降算法调整可训练参数W和可训练参数b，直至模型的本地损失函数小于预设的第一阈值，获得第二本地分类器模型；

步骤S300，基于各个本地平台的所述第二本地分类器模型，通过加权平均的方法生成全局分类器模型；

步骤S400，基于所述全局分类器模型初始化各个本地平台的所述第二本地分类器模型，生成第三本地分类器模型；

步骤S500，通过所述第三本地分类器模型进行所述待识别数据的语言关系识别，获取待识别数据的语言关系预测结果。

2.根据权利要求1所述的基于联邦学习的分布式语言关系识别方法，其特征在于，步骤S300还包括步骤S300B基于各个本地平台的所述第二本地分类器模型通过知识蒸馏的方式获得全局分类器模型。

3.根据权利要求2所述的基于联邦学习的分布式语言关系识别方法，其特征在于，所述基于各个本地平台的所述第二本地分类器模型通过知识蒸馏的方式获得全局分类器模型，其方法为：

步骤S310B，各个本地平台获取带标签的全局服务器数据；

步骤S320B，分别通过各个本地平台的第二本地分类器模型对所述带标签的全局服务器数据进行预测，获得全局数据本地预测关系集；

步骤S330B，进行所述全局数据本地预测关系集的聚合，并通过随机梯度下降算法优化全局数据本地预测关系集和带标签的全局服务器数据的全局损失函数L至所述全局损失函数值L小于预设的第二阈值，获得全局分类器模型；

所述全局损失函数L为：

其中，为带标签的本地训练数据，为全局数据，i为索引，为本地蕴含实体信息的句子表示的预测关系分布，为各第二本地分类器模型聚合后模型的预测关系分布：

其中，τ为温度参数用于控制蒸馏的分布，r为与i不同的另一个索引，为：

其中，是各第二本地分类器模型标签聚合后模型的logit值，表示用于聚合的本地蕴含实体信息的句子表示的预测关系分布，s表示句子，j为局部分类器模型中的索引，J为局部分类器模型。