[发明专利]分布式的模型训练方法及相关装置

说明书

本申请公开了分布式的模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及深度学习技术领域。该方法的一具体实施方式包括：针对分布式第一训练器所获取的每批次的训练样本，通过分布式第二训练器进行模型训练，得到梯度信息；根据梯度信息，对分布式内置参数服务器中的目标参数进行更新；响应于确定预设数量的训练样本完成训练，通过分布式第一训练器进行分布式内置参数服务器与分布式参数服务器之间的参数交互，进行初始模型的参数更新，直至初始模型训练完成。该实施方式提供了分布式的模型训练方法，提高了模型的训练速度。

技术领域

本申请涉及计算机技术技术领域，具体涉及深度学习技术领域，尤其涉及分布式的模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着大数据浪潮的推动与深度学习技术的长足发展，深度学习所涉及的数据规模与模型规模都发生了惊人的增长。大数据+大模型的双重挑战，是单机训练无法承受之重，必须使用数据并行的分布式训练模式，才可以满足业务需求。目前，一般采用去中心化的分布式训练模式和中心化的分布式训练模式。

发明内容

本申请实施例提出了一种分布式的模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

根据第一方面，本申请提供了一种分布式的模型训练方法，包括：针对分布式第一训练器所获取的每批次的训练样本，通过分布式第二训练器进行模型训练，得到梯度信息；根据梯度信息，对分布式内置参数服务器中的目标参数进行更新，其中，分布式内置参数服务器设置于分布式第二训练器中，目标参数为初始模型的部分参数；响应于确定预设数量的训练样本完成训练，通过分布式第一训练器进行分布式内置参数服务器与分布式参数服务器之间的参数交互，进行初始模型的参数更新，直至初始模型训练完成。

根据第二方面，本申请提供了一种分布式的模型训练装置，包括：训练单元，被配置成针对分布式第一训练器所获取的每批次的训练样本，通过分布式第二训练器进行模型训练，得到梯度信息；目标参数更新单元，被配置成根据梯度信息，对分布式内置参数服务器中的目标参数进行更新，其中，分布式内置参数服务器设置于分布式第二训练器中，目标参数为初始模型的部分参数；参数交互单元，被配置成响应于确定预设数量的训练样本完成训练，通过分布式第一训练器进行分布式内置参数服务器与分布式参数服务器之间的参数交互，进行初始模型的参数更新，直至初始模型训练完成。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面中任一项的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述第一方面中任一项的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述第一方面中任一项的方法。

本申请实施例提供的分布式的模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品，首先，针对分布式第一训练器所获取的每批次的训练样本，通过分布式第二训练器进行模型训练，得到梯度信息；然后，根据梯度信息，对分布式内置参数服务器中的目标参数进行更新，其中，分布式内置参数服务器设置于分布式第二训练器中，目标参数为初始模型的部分参数；最后，响应于确定预设数量的训练样本完成训练，通过分布式第一训练器进行分布式内置参数服务器与分布式参数服务器之间的参数交互，进行初始模型的参数更新，直至初始模型训练完成。

本申请提供了一种分布式的模型训练方法，基于异构的分布式第一训练器和分布式第二训练器，以及设置于分布式第二训练器中的分布式内置参数服务器，提高了模型的训练速度。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。