[发明专利]图文预训练模型训练、图文预测模型训练方法和装置

权利要求书

1.一种图文预训练模型训练方法，其特征在于，所述方法包括：

获取训练图像对应的训练图像原始特征和训练文本对应的训练文本原始特征；

基于所述训练图像原始特征和所述训练文本原始特征进行特征掩盖，得到训练图像目标特征和训练文本目标特征，并将所述训练图像目标特征和所述训练文本目标特征输入到初始图文预训练模型中；

通过所述初始图文预训练模型使用所述训练目标图像特征和所述训练目标文本特征进行图文匹配程度评估，得到初始图文匹配程度；

通过所述初始图文预训练模型使用所述初始图文匹配程度、所述训练目标图像特征和所述训练目标文本特征进行跨模态信息交互，得到初始图像交互特征和初始文本交互特征；

基于所述训练图像原始特征、训练文本原始特征、初始图像交互特征、初始文本交互特征和所述初始图片匹配程度进行模型损失计算，得到训练模型损失信息；

基于所述训练模型损失信息训练所述初始图文预训练模型，直到达到训练完成条件时，得到目标图文预训练模型，所述目标图文预训练模型用于训练基于图像和文本进行跨模态预测的模型。

2.根据权利要求1所述的方法，其特征在于，所述获取训练图像对应的训练图像原始特征和训练文本对应的训练文本原始特征，包括：

获取训练样本，所述训练样本包括训练图像和训练文本；

将所述训练文本进行字符级别的文本翻译，得到训练文本全量表示向量和训练文本字符表示向量，基于训练文本全量表示向量和训练文本字符表示向量得到所述训练文本原始特征；

基于所述训练图像进行目标对象分类识别，得到训练图像全量表示向量、训练对象类别表征向量和训练对象区域表征向量，基于所述训练对象类别表征向量和训练对象区域表征向量得到所述训练图像原始特征。

3.根据权利要求1所述的方法，其特征在于，所述基于所述训练图像原始特征和所述训练文本原始特征进行特征掩盖，得到训练图像目标特征和训练文本目标特征，包括：

从所述训练文本原始特征包含的训练文本字符表示向量中随机确定当前字符表示向量；

将所述训练文本原始特征中的当前字符表示向量替换为预设文本掩盖向量，得到所述训练文本目标特征；

从所述训练图像目标特征包含的训练对象类别表征向量和训练对象区域表征向量中随机确定当前对象类别表征向量和当前对象区域表征向量；

将所述训练图像目标特征中的当前对象类别表征向量替换为预设图像对象掩盖向量，并将所述训练图像目标特征中的当前对象区域表征向量替换为预设图像区域掩盖向量，得到所述训练图像目标特征。

4.根据权利要求1所述的方法，其特征在于，通过所述初始图文预训练模型使用所述训练目标图像特征和所述训练目标文本特征进行图文匹配程度评估，得到初始图文匹配程度，包括：

通过所述初始图文预训练模型对所述训练目标图像特征进行自注意力特征提取，得到初始图像自注意力特征；

通过所述初始图文预训练模型对所述训练目标文本特征进行自注意力特征提取，得到初始文本自注意力特征；

通过所述初始图文预训练模型对所述初始图像自注意力特征和所述初始文本自注意力特征进行匹配程度评估，得到训练图文匹配程度；

所述通过所述初始图文预训练模型使用所述初始图文匹配程度、所述训练目标图像特征和所述训练目标文本特征进行跨模态信息交互，得到初始图像交互特征和初始文本交互特征，包括：

通过所述初始图文预训练模型使用所述训练图文匹配程度、所述初始图像自注意力特征和所述初始文本自注意力特征进行跨模态信息交互，得到训练图像交互特征和训练文本交互特征。