[发明专利]一种分布式训练transformer-xl语言模型的方法和设备

摘要

本发明涉及一种分布式训练transformer‑xl语言模型的方法和设备，应用于通过DPP训练transformer‑xl语言模型的过程，该方法包括：获取用于训练tranformer xl语言模型的文本语料数据；将所有的所述文本语料数据按照上下文顺序进行排序；将排序后的所述文本语料数据根据GPU的个数进行分块，以分为多个子数据；将不同的所述子数据分配给不同的所述GPU，所述GPU训练所分配的所述子数据的顺序与所述上下文顺序一致；依次通过各所述GPU对所述子数据进行训练，以实现对transformer‑xl语言模型的训练。本方案重构了DDP中的采样方法，使用重构后的DDP训练会tranformer xl，一则加速了巨量文本语料的的训练速度，解决了效率问题，且使得tranformer xl模型的历史信息得到保留。