[发明专利]模型训练方法、装置、设备、存储介质以及程序产品

说明书

本公开提供了一种模型训练方法、装置、设备、存储介质以及程序产品，涉及人工智能领域，尤其是深度学习技术领域。该方法的一具体实施方式包括：获取训练样本集；从预设的并行策略集合中开启至少一个并行策略的开关，其中，并行策略集合中的每个并行策略对应设置有开关；利用至少一个并行策略，基于训练样本集对初始模型进行训练，直至初始模型训练完成。该实施方式提供了一种混合并行策略，灵活支持不同并行策略的任务组合来并行训练模型，提高了模型的训练速度。

技术领域

本公开涉及人工智能领域，尤其是深度学习技术领域，尤其涉及模型训练方法、装置、设备、存储介质以及程序产品。

背景技术

随着大数据浪潮的推动与深度学习技术的长足发展，深度学习所涉及的数据规模与模型规模都发生了惊人的增长。大数据+大模型的双重挑战，是单机训练无法承受之重。目前，一般采用分布式训练技术从本质上解决日益提高的数据规模与模型复杂度所带来的训练问题。

发明内容

本公开实施例提出了一种模型训练方法、装置、设备、存储介质以及程序产品。

第一方面，本公开实施例提出了一种模型训练方法，包括：获取训练样本集；从预设的并行策略集合中开启至少一个并行策略的开关，其中，并行策略集合中的每个并行策略对应设置有开关；利用至少一个并行策略，基于训练样本集对初始模型进行训练，直至初始模型训练完成。

第二方面，本公开实施例提出了一种模型训练装置，包括：获取模块，被配置成获取训练样本集；开启模块，被配置成从预设的并行策略集合中开启至少一个并行策略的开关，其中，并行策略集合中的每个并行策略对应设置有开关；训练模块，被配置成利用至少一个并行策略，基于训练样本集对初始模型进行训练，直至初始模型训练完成。

第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。

本公开实施例提供的模型训练方法、装置、设备、存储介质以及程序产品，并行策略集合中的每个并行策略对应设置有开关，使得用户能够根据业务情况选择每个并行策略的任意开启或关闭。针对在不同硬件上训练千亿规模模型，不同并行策略在不同硬件上遇到的瓶颈不同。针对显存和通信的瓶颈，来选择不同的并行策略。提供了一种混合并行策略，灵活支持不同并行策略的任务组合来并行训练模型，提高了模型的训练速度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的模型训练方法的一个实施例的流程图；

图2是基于分片数据并行策略的模型训练方法的一个实施例的流程图；

图3是分片数据并行策略的一个示意图；

图4是分片数据并行策略的又一个示意图；

图5是分片数据并行策略的另一个示意图；

图6是基于流水线并行策略的模型训练方法的一个实施例的流程图；