[发明专利]一种基于多尺度语言嵌入REC的目标检测方法

权利要求书

1.一种基于多尺度语言嵌入REC的目标检测方法，其特征在于，包括以下步骤：

步骤1)接收输入的图像与语言，分别提取图像特征和语言特征；

步骤2)获取最终局部融合特征：

步骤2-1)计算图像特征中每个特征点与语言特征的相似度得到图像-语言响应谱，利用图像-语言响应谱加强图像特征得到局部初步融合特征；

步骤2-2)计算局部初步融合特征中每个特征点的N种尺度邻近区域与语言特征的相似度得到N个上下文响应谱，分别利用N个局部上下文融合特征，再融合N个加强后的局部初步融合特征得到最终局部融合特征；N为大于等于2的整数；

步骤3)计算图像特征与语言特征的全局融合特征，同时添加位置信息，得到带位置信息的全局融合特征；

步骤4)根据最终局部融合特征和带位置信息的全局融合特征完成对待检测目标位置的预测。

2.如权利要求1所述方法，其特征在于，步骤2-1)具体如下：

先使语言特征f_l的维度与图像特征f_v的维度相同；

将统一维度的语言特征f_l与图像特征f_v点乘，再用Softmax函数对点乘结果进行映射并乘上图像特征f_v的尺寸得到图像-语言响应谱M_g；

将图像-语言响应谱M_g与图像特征f_v求哈达玛积得到初步融合的局部多模态特征f_mp。

3.如权利要求2所述方法，其特征在于，通过全连接层实现语言特征f_l的维度改变，使得语言特征f_l的维度与图像特征f_v的维度相同。

4.如权利要求1所述方法，其特征在于，步骤2-2)具体如下：

将语言特征的维度改变到N种不同尺度，确定的N种不同尺度的卷积核后将N种不同尺度的语言特征分别与图像特征f_v做二维卷积，得到N个不同上下文响应谱

将f_mp分别与N个不同上下文响应谱点乘，得到N个二次融合的局部多模态特征并进行拼接，再使拼接后的二次融合的局部多模态特征的维度与图像特征f_v的维度相同，得到最后的局部多模态特征f_mu。

5.如权利要求4所述方法，其特征在于，N＝3；使用3个独立全连接层将语言特征的维度从C_l改变到3种不同尺度C_v，C_v*9，C_v*25，C_v表示图像特征f_v的维度；将3种不同尺度的语言特征分别与图像特征f_v做二维卷积是使用的3种卷积核分别为表示实数域。

6.如权利要求1所述方法，其特征在于，步骤3)具体如下：

得到图像特征f_v的全局图像特征f_vg；

使语言特征f_l的维度与图像特征f_v的维度相同；将统一维度的语言特征f_l与全局图像特征f_vg求哈达玛积，得到全局融合特征f_mg；再将全局融合特征f_mg扩充成C_v*H*W的矩阵；C_v表示图像特征f_v的维度，H和W分别表示图像特征f_v的长和宽；

同时，得到图像特征的坐标谱coord，i与j分别表示图像特征f_v的特征点的横、纵坐标；

将扩充后的全局融合特征f_mg与坐标谱coord先拼接，再对拼接结果的维度改变到图像特征f_v的维度相同，得到包含位置信息的全局融合特征f_pg。