[发明专利]面向自然语言模型的联邦小样本学习方法、系统及设备

权利要求书

1.一种面向自然语言模型的联邦小样本学习方法，其特征在于，所述方法包括：

a、云端服务器选择一增强策略；

b、云端服务器基于所述增强策略，将自然语言模型发送给两个端侧设备集群，以使所述两个端侧设备集群分别采用联邦学习方式及采用预设的联邦小样本学习方式，对所述自然语言模型进行当前迭代轮的协同微调，得到下一迭代轮的所述自然语言模型；

c、云端服务器基于所述增强策略，将所述下一迭代轮的所述自然语言模型作为当前迭代轮的所述自然语言模型，发送给所述两个端侧设备集群，以使所述两个端侧设备集群分别采用联邦学习方式及采用预设的联邦小样本学习方式，对所述当前迭代轮的所述自然语言模型进行协同微调，得到下一迭代轮的所述自然语言模型；

d、云端服务器确定经过所述协同微调的迭代轮数量是否小于设定的迭代轮阈值，如果是，返回步骤c执行，如果否，执行步骤e；

e、云端服务器计算所述下一迭代轮的所述自然语言模型的目标结果精确率是否小于预设的精确率阈值，如果是，将所述下一迭代轮的所述自然语言模型作为微调后的所述自然语言模型，如果否，返回步骤a继续执行。

2.如权利要求1所述的方法，其特征在于，在所述步骤a之前，还包括得到至少一增强策略的过程：

云端服务器将初始化的所述自然语言模型发送给随机选取的两个端侧设备集群，以使所述随机选取的两个端侧设备集群分别采用联邦学习方式及预设的联邦小样本学习方式，对所述初始化的所述自然语言模型进行预设数量的迭代轮的微调；

对于每一迭代轮，对比经过所述随机选取的两个端侧设备集群微调的所述初始化的所述自然语言模型，选择具有高目标结果精确率的所述初始化的所述自然语言模型；

将预设数量的迭代轮的所述选择的所述初始化的所述自然语言模型，基于具有的目标结果精确率进行从高到低的顺序排列后，根据设定个数的排序高的所述选择的所述初始化的所述自然语言模型，分别建立对应的增强策略；

步骤a所述的云端服务器选择一增强策略为排序最高的所述建立的增强策略、或者任一排序高的所述建立的增强策略。

3.如权利要求1或2所述的方法，其特征在于，步骤a所述的云端服务器选择一增强策略包括：自然语言模型的相关超参数；

所述相关超参数包括：协同微调的端侧设备范围及数量、以及协同微调的各个端侧设备采用的训练数据数量中的一项或多项组合；

所述预设的联邦小样本学习方式为：基于伪标签方式及提示学习方式进行融合的联邦小样本学习方式。

4.如权利要求3所述的方法，其特征在于，在执行所述步骤e之前，还包括：

云端服务器计算每一所述迭代轮的所述自然语言模型的数据增强效率值，判断设定数值的迭代轮的所述数据增强效率值的下降率是否超过预设的下降阈值，如果是，返回步骤a执行；如果否，执行步骤e。

5.如权利要求3所述的方法，其特征在于，所述以使所述两个端侧设备集群分别采用联邦学习方式及采用预设的联邦小样本学习方式，对所述自然语言模型进行当前迭代轮的协同微调，得到下一迭代轮的所述自然语言模型包括：

在当前迭代轮，对于所述两个端侧设备集群的每一集群中的至少一端侧设备，对接收的所述自然语言模型采用对应的联邦学习方式或预设的联邦小样本学习方式进行微调后，将得到的局部模型参数返回给所述云端服务器；

所述云端服务器不断聚合所述端侧设备发送的局部模型参数，不断得到全局模型参数，基于全局模型参数不断更新所述自然语言模型，再次发送给所述两个端侧设备集群的每一集群中的至少一端侧设备，进行更新后的自然语言模型的微调，直到当前迭代轮结束。

6.如权利要求3所述的方法，其特征在于，所述以使所述两个端侧设备集群分别采用联邦学习方式及采用预设的联邦小样本学习方式，对所述自然语言模型进行当前迭代轮的协同微调，得到下一迭代轮的所述自然语言模型包括：

对于所述两个端侧设备集群的每一集群中的至少一端侧设备，设置自身的样本过滤器，对自身样本经过所述样本过滤器过滤后，输入到所述自然语言模型进行微调。