[发明专利]模型训练方法、装置、设备及存储介质

说明书

本申请实施例提供了一种模型训练方法、装置、设备及存储介质，该方法包括：获取多组第一训练数据，多组第一训练数据对应的任务类型不同，且每组第一训练数据包括：至少一种第一模态信息；通过多组第一训练数据训练预训练语言模型。即在本申请实施例中，可以通过多种任务类型的训练数据训练预训练语言模型，由于任务类型多样，而不同的任务类型对预训练语言模型中参数的训练的侧重点不同，因此综合不同任务类型的训练数据对模型进行训练，可以实现对模型的各个参数更加全面的训练，从而可以提高预训练语言模型的精度。

技术领域

本申请实施例涉及计算机技术领域，并且更具体地，涉及一种模型训练方法、装置、设备及存储介质。

背景技术

目前许多信息查询技术都综合运用了自然语言处理、信息检索、人工智能等技术。例如：智能问答技术是综合运用了自然语言处理、信息检索、人工智能等技术的一种新型的信息服务技术。与传统的搜索引擎不同，自动问答系统以自然语音句子提问，通过预训练语言模型的处理，返回用户想要的答案，其中模型的精度决定了输出答案的准确性，而模型的训练影响着模型的精度，如何训练模型，以提高模型精度是本申请亟待解决的技术问题。

发明内容

本申请实施例提供一种模型训练方法、装置、设备及存储介质。

第一方面，本申请实施例提供一种模型训练方法，包括：获取多组第一训练数据，所述多组第一训练数据对应的任务类型不同，且每组所述第一训练数据包括：至少一种第一模态信息；通过所述多组第一训练数据训练预训练语言模型。

第二方面，本申请实施例提供一种模型训练装置，包括：第一获取模块和第一训练模块，其中，第一获取模块用于获取多组第一训练数据，所述多组第一训练数据对应的任务类型不同，且每组所述第一训练数据包括：至少一种第一模态信息；第一训练模块用于通过所述多组第一训练数据训练预训练语言模型。

第三方面，提供了一种电子设备，包括：

处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面的方法。

第四方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面的方法。

在本申请实施例中，终端设备可以通过多种任务类型的训练数据训练预训练语言模型，由于任务类型多样，而不同的任务类型对预训练语言模型中参数的训练的侧重点不同，因此综合不同任务类型的训练数据对模型进行训练，可以实现对模型的各个参数更加全面的训练，从而可以提高预训练语言模型的精度。

进一步地，本申请实施例通过预训练语言模型实现端到端的输入和输出，即该预训练语言模型是基于神经网络的模型，只需要将至少一种模态信息输入至该模型，即可输出多模态信息。这种端到端的输入和输出方式可以提高信息处理效率。

更进一步地，本申请实施例基于神经网络的模型进行信息处理，而不是基于传统的机器学习模型或者是人工规则进行信息处理，相对于基于传统的机器学习模型或者是人工规则的信息处理方式，本申请基于神经网络模型的信息处理方式可以提高信息处理效率。

附图说明

图1A是本申请一实施例提供的智能问答场景示意图；

图1B是本申请一实施例提供的智能问答场景示意图；

图2为本申请一实施例提供的多模态信息处理过程的示意图；

图3为本申请一实施例提供的图像模态的问题示意图；

图4为本申请一实施例提供的一种模型训练方法的流程图；

图5为本申请另一实施例提供的一种模型训练方法的流程图；

图6为本申请一实施例提供的对至少一种第二参考信息的处理方法流程图；