[发明专利]一种分布式训练transformer-xl语言模型的方法和设备

权利要求书

1.一种分布式训练transformer-xl语言模型的方法，其特征在于，应用于通过DPP训练transformer-xl语言模型的过程，该方法包括：

获取用于训练tranformer xl语言模型的文本语料数据；

将所有的所述文本语料数据按照上下文顺序进行排序；

将排序后的所述文本语料数据根据GPU的个数进行分块，以分为多个子数据；

将不同的所述子数据分配给不同的所述GPU，所述GPU训练所分配的所述子数据的顺序与所述上下文顺序一致；

依次通过各所述GPU对所述子数据进行训练，以实现对transformer-xl语言模型的训练。

2.如权利要求1所述的方法，其特征在于，所述将不同的所述子数据分配给不同的所述GPU，包括：

按照上下文顺序对各所述子数据进行排序，生成第一序列，以及按照训练的顺序对各所述GPU进行排序，生成第二序列；

针对各所述子数据，确定所述子数据的在第一序列中的排名；确定所述排名在第二序列中对应的所述GPU；将所述子数据分配给确定的所述GPU。

3.如权利要求1所述的方法，其特征在于，所述“依次通过各所述GPU对所述子数据进行训练，以实现对transformer-xl语言模型的训练”，包括：

依次通过各所述GPU对所述子数据进行一次训练，实现一轮对transformer-xl语言模型的训练；

通过多轮对transformer-xl语言模型的训练，实现对transformer-xl语言模型的最终训练。

4.如权利要求3所述的方法，其特征在于，每轮对transformer-xl语言模型的训练过程中，各所述子数据的迭代顺序相同。

5.如权利要求4所述的方法，其特征在于，各所述子数据的迭代顺序相同是通过关闭DDP的shuffle的参数配置实现的。

6.一种分布式训练transformer-xl语言模型的设备，其特征在于，应用于通过DPP训练transformer-xl语言模型的过程，该设备包括：

获取模块，用于获取用于训练tranformer xl语言模型的文本语料数据；

排序模块，用于将所有的所述文本语料数据按照上下文顺序进行排序；

分块模块，用于将排序后的所述文本语料数据根据GPU的个数进行分块，以分为多个子数据；

分配模块，用于将不同的所述子数据分配给不同的所述GPU，所述GPU训练所分配的所述子数据的顺序与所述上下文顺序一致；

训练模块，用于依次通过各所述GPU对所述子数据进行训练，以实现对transformer-xl语言模型的训练。

7.如权利要求6所述的设备，其特征在于，所述分配模块，包括：

生成模块，用于按照上下文顺序对各所述子数据进行排序，生成第一序列，以及按照训练的顺序对各所述GPU进行排序，生成第二序列；

处理模块，用于针对各所述子数据，确定所述子数据的在第一序列中的排名；确定所述排名在第二序列中对应的所述GPU；将所述子数据分配给确定的所述GPU。

8.如权利要求6所述的设备，其特征在于，所述训练模块，包括：

一轮模块，用于依次通过各所述GPU对所述子数据进行一次训练，实现一轮对transformer-xl语言模型的训练；

多轮模块，用于通过多轮对transformer-xl语言模型的训练，实现对transformer-xl语言模型的最终训练。

9.如权利要求8所述的设备，其特征在于，每轮对transformer-xl语言模型的训练过程中，各所述子数据的迭代顺序相同。

10.如权利要求9所述的设备，其特征在于，各所述子数据的迭代顺序相同是通过关闭DDP的shuffle的参数配置实现的。