[发明专利]一种基于无监督知识增强的视觉-语言预训练方法及装置

权利要求书

1.一种基于无监督知识增强的视觉-语言预训练方法，其特征在于,包括以下步骤：

步骤1：对互联网现有的大量图片和文本进行收集，得到大量无标注的包含图片和文本的多模态数据；

步骤2 ：对步骤1得到的大规模多模态数据集进行无监督训练，得到知识标注模块；

步骤3：将步骤2得到的知识标注模块与原有的视觉-语言预训练模型进行联合训练，得到最终完整的视觉-语言预训练模块；

步骤4：使用视觉常识推理任务提高的测试集对步骤3得到的视觉-语言模块进行测试，得到最终的预训练模型。

2.根据权利要求1所述的一种基于无监督知识增强的视觉-语言预训练方法，其特征在于：步骤1具体包括以下步骤：

步骤1.1：对视觉-语言预训练进行数据评估，得到完成预训练需要的数据量大小；

步骤1.2 ：对互联网进行图片、文本以及带文本的图片的三类数据进行统计，得到收录上述三种数据最多的若干个网站；

步骤1.3 ：对步骤1.2网站中的数据进行爬取，得到爬取后的数据；

步骤1.4 ：对爬取后的数据进行数据总量统计并与步骤1.1预估的数据量进行对比，得到一个决定：

若爬取得到的数据量大于预估数据量，则完成步骤1；若爬取得到的数据量小于预估数据量，则重复1.2-1.4，直至满足预估数据量。

3.根据权利要求1所述的一种基于无监督知识增强的视觉-语言预训练方法，其特征在于：步骤2具体包括以下步骤：

步骤2.1：对步骤1得到的数据进行分类，得到纯图片、纯文本、带文本的图片的样本比例；

步骤2.2 ：训练数据包含各个领域，是通用领域的数据，模型训练后能得到一个适配多个领域的多模态预训练模型；

步骤2.3 ：对步骤2.2得到的多模态预训练模型首先进行目标检测预训练，使其用方框分隔出图片中的各个物体；

步骤2.4 由于训练数据中包含带文字的图片，在2.3的基础上，进行跨模态的训练，得到能够对步骤2.3中可分隔出的各个物体进行名称标识的知识标注模块。

4.根据权利要求1所述的一种基于无监督知识增强的视觉-语言预训练方法，其特征在于：步骤3 具体包括以下步骤：

步骤3.1：从步骤1中挑选出一些不作为训练集的图片，送入步骤2得到的知识标注模块，检查知识标注模块是否能正确识别物体以及输出物体的名称；

步骤3.2：对视觉常识推理任务进行建模，得到预训练模型；

步骤3.3：对步骤3.2得到的预训练模型与知识标注模块进行联合学习训练，得到最后的基于知识增强的视觉-语言预训练模型；

步骤3.4：输入图片，得到知识标注模块的输出，即：图片中各个分隔物体的名称，和预训练模型的输出，即：关于输入图片的初始回答；

步骤3.5：将知识标注模块输出的词输入到预训练模型中，对解码概率进行调整，由于在解码时，预训练模型会先计算词表中所有词被输出的概率，所以输入的词通过放大k倍原先解码概率的方法来提高这些词被预训练模块输出的概率；

步骤3.6：基于步骤3.5调整后各个词输出的概率，对步骤3.4中得到的初始回答进行再生成，得到改良后的回答。

5.根据权利要求1所述的一种基于无监督知识增强的视觉-语言预训练方法，其特征在于：步骤4 具体包括以下步骤：

步骤4.1：对华盛顿大学和艾伦人工智能研究所的研究者联合创建了一个数据集进行获取，得到该数据集；

步骤4.2 对步骤3得到的预训练模型在步骤4.1得到的测试集上进行测试，反复迭代，直至得到拥有最好测试结果的预训练模型。