[发明专利]一种基于孪生网络的图像目标定位方法

权利要求书

1.一种基于孪生网络的图像目标定位方法，其特征在于包括：

根据图像中的目标大小和所在位置对图像进行裁剪和数据增强处理、获得视频序列训练集中的全部图像组成的样本对；

构建自注意力机制模块和互注意力机制模块，其中所述自注意力机制模块包括通道注意力机制模块和空间注意力机制模块，所述互注意力机制模块包括两个结构相同的第一通道注意力机制模块和第二通道注意力机制模块；

构建基于注意力机制的交叉融合孪生网络，该交叉融合孪生网络包括用于提取图像特征的2个参数共享的AlexNet特征提取网络，该参数共享的AlexNet特征提取网络包括5层卷积层，其中在第1层和第4层卷积层均加入自注意力机制模块进行特征增强，同时将第2层和第3层卷积层的输出连接到互注意力机制模块中进行模板分支和搜索分支的信息交互；

将视频序列裁剪得到的样本对输入至基于注意力机制的交叉融合孪生网络进行训练；

使用训练好的交叉融合孪生网络计算目标模板与视频序列各帧的得分图，记录得分图中得分最大的位置即为目标位置。

2.根据权利要求1所述的方法，其特征在于：对图像进行增强时：

对裁剪得到的图像进行一系列以目标为中心、以目标周围随机点为中心进行缩放裁剪操作，将缩放裁剪后的模板分支图像和搜索分支图像两两组合，构成样本对(z，x)，其中z是模板分支图像，x是搜索分支图像，将二者作为训练孪生网络时使用的图像数据。

3.根据权利要求1所述的方法，其特征在于：所述自注意力机制模块包括通道注意力机制模块和空间注意力机制模块，该自注意力机制模块对图像进行特征增强处理时：

设输入的图像特征为F∈R^C*h*W，则将输入的图像特征通过通道注意力机制模块，可以得到该图像的通道权重为M_c∈R^C*1*1，将输入的图像特征通过空间注意力机制模块，可以得到该图像的空间权重为M_s∈R^1*h*W，将通道权重和输入的图像特征进行矩阵相乘获得经过通道注意力机制模块增强后的图像特征F′,将空间权重和输入的经过通道注意力机制模块增强的图像特征F′进行矩阵相乘获得经过空间注意力机制模块增强的图像特征F″，具体算法如下：

通道权重采用如下公式表示：

其中，σ是sigmoid激活函数，是用于进行通道变换的全连接或1*1卷积操作，并且在W₀和W₁运算后，使用ReLU激活函数进行计算；

空间权重采用如下公式表示：

其中，σ是sigmoid激活函数，f^7*7是7*7卷积操作

关于sigmoid激活函数和ReLU激活函数分别由下式给出

4.根据权利要求1所述的方法，其特征在于：所述第一通道注意力机制模块用于获取输入模板分支图像的模板通道权重，所述第二通道注意力机制模块用于获取输入搜索分支图像的搜索通道权重，该互注意力机制模块对通过的图像进行增强处理时：

以模板分支为例，设输入的模板分支图像特征为Z∈R^C*h*w，输入的搜索分支图像特征为X∈R^C*h*W，利用搜索分支图像特征对通过互注意力机制模块的模板分支图像特征进行增强处理时，将模板分支的图像特征通过第一通道注意力机制模块获得特征增强后的模板分支图像特征为其中M_c(Z)为模板通道权重；将模板分支的图像特征通过第二通道注意力机制模块获得特征增强后的模板分支图像特征为其中M_c(X)为搜索通道权重；将第一通道注意力机制模块和第二通道注意力机制模块得到的增强后的图像特征直接相加，可得图像特征融合的结果为Z′＝Z_S′tZ_C′，最后将该结果通过一个卷积核大小为3，步长为1，填充为1的卷积层，得到模板分支图像的最终特征增强结果。