[发明专利]模型训练方法、装置、设备及存储介质

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取多组第一训练数据，所述多组第一训练数据对应的任务类型不同，且每组所述第一训练数据包括：至少一种第一模态信息；

通过所述多组第一训练数据训练预训练语言模型。

2.根据权利要求1所述的方法，其特征在于，所述第一训练数据还包括：所述至少一种第一模态信息对应的至少一种第一参考信息。

3.根据权利要求1所述的方法，其特征在于，还包括：

获取多组第二训练数据，所述多组第二训练数据对应的任务类型不同，且每组所述第二训练数据包括：至少一种第二模态信息和所述至少一种第二模态信息对应的至少一种模态信息；

通过所述多组第二训练数据训练所述预训练语言模型。

4.根据权利要求3所述的方法，其特征在于，所述第二训练数据还包括：所述至少一种第二模态信息对应的至少一种第二参考信息。

5.根据权利要求4所述的方法，其特征在于，还包括：

根据所述至少一种第二模态信息，对所述至少一种第二参考信息进行处理，得到所述至少一种第二模态信息对应的至少一种模态信息。

6.根据权利要求5所述的方法，其特征在于，所述对所述至少一种第二参考信息进行处理，得到所述至少一种第二模态信息对应的至少一种模态信息，包括：

在所述至少一种第二参考信息中提取所述至少一种第二模态信息的相关内容；

根据所述相关内容，得到所述至少一种第二模态信息对应的至少一种模态信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述相关内容，得到所述至少一种第二模态信息对应的至少一种模态信息，包括：

将所述相关内容确定为所述至少一种第二模态信息对应的至少一种模态信息；或者，

根据所述至少一种第二模态信息，对所述相关内容进行改写，以得到所述至少一种第二模态信息对应的至少一种模态信息；或者，

根据所述至少一种第二模态信息，对所述相关内容进行改写，并对改写后的内容进行组合，以得到所述至少一种第二模态信息对应的至少一种模态信息。

8.根据权利要求5所述的方法，其特征在于，所述对所述至少一种第二参考信息进行处理，得到所述至少一种第二模态信息对应的至少一种模态信息，包括：

对所述至少一种第二参考信息进行改写，得到改写内容；

根据所述改写内容，得到所述至少一种第二模态信息对应的至少一种模态信息。

9.根据权利要求8所述的方法，其特征在于，所述根据所述改写内容，得到所述至少一种第二模态信息对应的至少一种模态信息，包括：

将所述改写内容确定为所述至少一种第二模态信息对应的至少一种模态信息；或者，

根据所述至少一种第二模态信息，对所述改写内容进行组合，以得到所述至少一种第二模态信息对应的至少一种模态信息。

10.根据权利要求1所述的方法，其特征在于，所述预训练语言模型包括：输入层、处理层和输出层；

所述输入层用于获取至少一种第三模态信息；

所述处理层用于根据所述至少一种第三模态信息，确定所述至少一种第三模态信息对应的多模态信息；

所述输出层用于输出所述多模态信息。

11.根据权利要求10所述的方法，其特征在于，

所述输入层还用于获取所述至少一种第三模态信息对应的至少一种第三参考信息；

相应的，所述处理层具体用于：

根据所述至少一种第三模态信息和所述至少一种第三参考信息，确定所述至少一种第三模态信息对应的多模态信息。