[发明专利]基于预训练模型的分布式文本模型训练方法、装置、终端设备

说明书

本公开的实施例公开了基于预训练模型的分布式文本模型训练方法、装置、终端设备。该方法的一具体实施方式包括：获取训练数据集；生成输入适配参数集和输入适配数据集；将输入适配数据集发送至第一终端；接收第一终端发回的输出适配数据集；基于输出适配数据集和训练数据集，生成输出适配参数集；将输入适配参数集和输出适配参数集的集合确定为初始目标模型；基于训练数据集和初始目标模型，生成目标模型，其中，目标模型包括目标输入适配参数集和目标输出适配参数集。该实施方式训练输入适配数据集和输出适配数据集以得到目标模型，训练结构简单、参数少，节省训练资源，提高了训练速度，提升了应用目标模型的后续任务的完成效率。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及基于预训练模型的分布式文本模型训练方法、装置、终端设备。

背景技术

随着现在神经网络模型规模越来越大，参数数量和复杂性非常高。针对文本生成任务进行神经网络模型训练，耗时非常长，同时对计算资源的要求非常高。预训练模型首先通过自监督学习从大规模数据中获得与具体任务无关的预训练模型，体现某一个词在一个特定上下文中的语义表征。第二个步骤是微调，针对具体的文本生成任务修正神经网络。基于这些预训练模型进行微调的模型，效果很好，且需要的训练数据也比较少。

然而，当在文本生成领域中基于预训练模型进行针对具体任务的模型训练时，经常会存在如下技术问题：

第一，由于预训练模型本身非常巨大，尽管现在单机服务器容量很大，但是每次加载预训练模型针对具体任务进行微调，仍然存在耗时非常严重的问题。同时，也难以在一台服务器上快速训练多个基于同一个预训练模型的下游子任务，这一过程对计算资源的要求过高。而较小规格的服务器，甚至无法加载巨大的预训练模型。

第二，神经网络模型结构复杂、参数多，即使只对预训练模型进行微调，也要耗费巨大的计算资源，对服务器的要求非常高，造成较大的训练压力。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了基于预训练模型的分布式文本模型训练方法、装置、终端设备，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种基于预训练模型的分布式文本模型训练方法，该方法包括：获取训练数据集；基于训练数据集，生成输入适配参数集和输入适配数据集；将输入适配数据集发送至第一终端；接收第一终端发回的输出适配数据集，其中，第一终端基于输入适配数据集，利用预先确定的预训练模型生成输出适配数据集；基于输出适配数据集和训练数据集，生成输出适配参数集；将输入适配参数集和输出适配参数集的集合确定为初始目标模型；基于训练数据集和初始目标模型，生成目标模型，其中，目标模型包括目标输入适配参数集和目标输出适配参数集。

第二方面，本公开的一些实施例提供了一种基于预训练模型的分布式文本模型训练装置，该装置包括：获取单元，被配置成获取训练数据集；第一生成单元，被配置成基于训练数据集，生成输入适配参数集和输入适配数据集；发送单元，被配置成将输入适配数据集发送至第一终端；接收单元，被配置成接收第一终端发回的输出适配数据集，其中，第一终端基于输入适配数据集，利用预先确定的预训练模型生成输出适配数据集；第二生成单元，被配置成基于输出适配数据集和训练数据集，生成输出适配参数集；确定单元，被配置成将输入适配参数集和输出适配参数集的集合确定为初始目标模型；第三生成单元，被配置成基于训练数据集和初始目标模型，生成目标模型，其中，目标模型包括目标输入适配参数集和目标输出适配参数集。

第三方面，本公开的一些实施例提供了一种终端设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一的方法。