[发明专利]一种跨模态视觉与文本信息匹配方法和装置

权利要求书

1.一种跨模态视觉与文本信息匹配方法，其特征在于，包括以下步骤：

S1、通过目标识别系统检测出图片中重要物体场景的区块，区块总数量为X；

S2、将这些区块的视觉向量信息输入到TRANSFOMER模型中，构建这些区块之间的关系和综合信息，获得包含上下文的视觉向量信息h_x，x∈X；

S3、对于长度为Y文本信息，采用文本TRANSFOMER编码器模型进行编码，获得每个单词的上下文嵌入向量h_y，y∈Y；

S4、用dot product对于所有的h_x和h_y进行匹配计算，得到X×Y个分数，这些分数构成X×Y的矩阵；

S5、对于矩阵的x轴和y轴分别取出每一列和每一行的最大分数，一共获得X+Y个分数，这些分数表示为g，通过g′＝logReLU(g)对被取出的分数进行非线性变换；

S6、计算最终得分s即为匹配度，最终得分s为所有g′的平均数。

2.根据权利要求1所述的一种跨模态视觉与文本信息匹配方法，其特征在于，还包括训练过程，训练过程如下：

训练数据的采集：首先采集配对的图片和文字信息；

损失函数和训练：在给定上述模型和数据后，使用mini-batch的方式进行训练，训练损失函数为交叉熵损失函数，人工标注的文字作为正确答案，而同一个mini-batch中其他的文字信息作为错误答案，交叉熵损失函数为：

式中，A是一个mini-batch中文本的数量，g是计算得到的分数，e是自然常数。

3.一种跨模态视觉与文本信息匹配装置，其特征在于，包括：

视觉TRANSFOMER编码器：此模块可以分为两大部分，第一步通过成熟的目标识别系统检测出图片中重要物体场景的区块，区块总数为X，将这些区块的视觉向量信息输入到TRANSFOMER模型中，从而构建这些区块之间的关系和综合信息，获得包含上下文的视觉向量信息h_x，x∈X；

文本TRANSFOMER编码器：对于长度为Y文本信息，采用已经预训练的文本TRANSFOMER编码器模型进行编码，获得每个单词的上下文嵌入向量h_y，y∈Y；

匹配算分模型：给定h_x和h_y之后，通过如下流程进行匹配度计算：

首先，用dot product对于所有的h_x和h_y对进行匹配计算，得到X×Y个分数，然后对于x轴和y轴分别取出每一列和每一行的最大分数，这些分数为g，通过g’＝log ReLU(g)对其进行非线性变换，最终得分s为所有g’的平均数。

4.根据权利要求3所述的一种跨模态视觉与文本信息匹配装置，其特征在于，整个装置的模型训练按如下方式进行：

训练数据的采集：首先采集配对的图片和文字信息；

损失函数和训练：在给定上述模型和数据后，使用mini-batch的方式进行训练，训练损失函数为交叉熵损失函数，人工标注的文字作为正确答案，而同一个mini-batch中其他的文字信息作为错误答案，交叉熵损失函数为：

式中，A是一个mini-batch中文本的数量，g是计算得到的分数，e是自然常数。