[发明专利]共享编码器生成方法、装置及电子设备

说明书

本申请提出一种共享编码器生成方法、装置及电子设备，属于计算机技术领域。其中，该方法包括：主节点向各子节点发送共享编码器训练指令，以使每个子节点根据训练指令中包括的目标共享编码器的类型获取训练样本；在获取到各子节点返回的确认消息后，向各子节点发送待训练的目标共享编码器的初始参数集，以使各子节点利用各自的训练样本对所述目标共享编码器的初始参数集进行训练；获取各子节点返回的目标共享编码器的更新参数集；根据第一预设规则及各子节点返回的目标共享编码器的更新参数集，确定目标共享编码器对应的目标参数集。由此，通过这种共享编码器生成方法，降低了多领域训练语料的获取难度和成本，提高了共享编码器的性能。

技术领域

本申请涉及计算机技术领域，尤其涉及大数据技术领域，提出一种共享编码器生成方法、装置及电子设备。

背景技术

预训练模型已经在计算机视觉、自然语言处理等领域中的应用实践被证明有效，在大数据下进行一次预训练再根据具体任务进行模型参数微调，已经成为一种流行的做法。

但是，相关技术中，多领域训练语料的获取难度大、成本高，从而导致预训练模型的实现难度大。

发明内容

本申请提出的共享编码器生成方法、装置及电子设备，用于解决相关技术中，多领域训练语料的获取难度大、成本高，从而导致预训练模型的实现难度大的问题。

本申请一方面实施例提出的共享编码器生成方法，包括：主节点向各子节点发送共享编码器训练指令，所述训练指令中包括待训练的目标共享编码器类型，以使每个子节点根据目标共享编码器的类型获取训练样本；在获取到各子节点返回的确认消息后，向各子节点发送待训练的目标共享编码器的初始参数集，以使各子节点利用各自的训练样本对所述目标共享编码器的初始参数集进行训练；获取各子节点返回的目标共享编码器的更新参数集；根据第一预设规则及各子节点返回的目标共享编码器的更新参数集，确定所述目标共享编码器对应的目标参数集。

本申请另一方面实施例提出的共享编码器生成方法，包括：第二子节点获取主节点发送的共享编码器训练指令，所述训练指令中包括待训练的目标共享编码器类型；确定包含与所述目标共享编码器类型匹配的训练样本后，向所述主节点返回确认消息；获取所述主节点发送的目标共享编码器的初始参数集；利用与所述目标共享编码器类型匹配的训练样本，进行模型训练，确定所述目标共享编码器的更新参数集；向所述主节点返回所述目标共享编码器的更新参数集。

本申请再一方面实施例提出的共享编码器生成装置，包括：第一发送模块，用于主节点向各子节点发送共享编码器训练指令，所述训练指令中包括待训练的目标共享编码器类型，以使每个子节点根据目标共享编码器的类型获取训练样本；第二发送模块，用于在获取到各子节点返回的确认消息后，向各子节点发送待训练的目标共享编码器的初始参数集，以使各子节点利用各自的训练样本对所述目标共享编码器的初始参数集进行训练；第一获取模块，用于获取各子节点返回的目标共享编码器的更新参数集；第一确定模块，用于根据第一预设规则及各子节点返回的目标共享编码器的更新参数集，确定所述目标共享编码器对应的目标参数集。

本申请又一方面实施例提出的共享编码器生成装置，第一获取模块，用于第二子节点获取主节点发送的共享编码器训练指令，所述训练指令中包括待训练的目标共享编码器类型；第一返回模块，用于确定包含与所述目标共享编码器类型匹配的训练样本后，向所述主节点返回确认消息；第二获取模块，用于获取所述主节点发送的目标共享编码器的初始参数集；第一确定模块，用于利用与所述目标共享编码器类型匹配的训练样本，进行模型训练，确定所述目标共享编码器的更新参数集；第二返回模块，用于向所述主节点返回所述目标共享编码器的更新参数集。

本申请又一方面实施例提出的电子设备，其包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的共享编码器生成方法。