[发明专利]时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备

权利要求书

1.一种时空卷积孪生匹配网络目标跟踪方法，其特征在于：包括如下步骤：

S1步，预处理训练数据，将训练数据图片处理成设定尺寸格式，并使跟踪目标处于训练数据图片的中间；

S2步，利用预处理好的训练数据来训练卷积神经网络模型；

S3步，进行目标跟踪：

S31步，输入目标跟踪视频；利用训练好的卷积神经网络模型分别提取目标跟踪视频的第一帧图像、搜索帧图像以及搜索帧前T帧图像的特征；

S32步、将第一帧图像的特征和搜索帧图像的特征进行互相关操作，得到第一互相关响应图R1；

S33步、采用三维卷积方式对搜索帧前T帧图像的特征进行融合，生成注意力响应图；将注意力响应图和第一帧图像的特征相乘，得到新的模板帧特征；将新的模板帧特征和搜索帧的特征进行互相关操作，得到第二互相关响应图R2；

S34步、分别计算第一互相关响应图R1和第二互相关响应图R2的APCE系数；将第一互相关响应图R1和第二互相关响应图R2中APCE系数较大的一项作为最新跟踪对象；

S35步、以最新跟踪对象作为跟踪目标来进行目标跟踪。

2.根据权利要求1所述的时空卷积孪生匹配网络目标跟踪方法，其特征在于：所述S1步中，预处理训练数据是指，将训练数据图片进行缩放和裁剪，使跟踪目标位于训练数据图片的中间，空白填充每个通道中所有像素的平均值；训练数据图片中，跟踪目标区域设定为正类，背景区域设为负类。

3.根据权利要求1所述的时空卷积孪生匹配网络目标跟踪方法，其特征在于：所述S33步中，采用三维卷积方式对搜索帧前T帧图像的特征进行融合，生成注意力响应图，是指：首先对搜索帧前T帧图像进行二维卷积以获得T*H*W*C的特征图；其中，C代表特征图的厚度，H代表特征图的高度，W代表特征图的宽度；然后使用卷积核大小为T的一维卷积运算获得H*W*C的特征图，进而生成注意力响应图。

4.根据权利要求1所述的时空卷积孪生匹配网络目标跟踪方法，其特征在于：所述S33步中，第二互相关响应图R2的计算方式为：

其中，corr(·)是相关运算；F_t表示第t帧图像的输入图像；t为搜索帧编码；代表由经过训练的卷积神经网络提取的深层特征；Λ(·)表示引入注意力信息的三维卷积模块。

5.一种时空卷积孪生匹配网络目标跟踪装置，其特征在于：包括：

卷积神经网络模型训练模块；用于预处理训练数据，将训练数据图片处理成设定尺寸格式，并使跟踪目标处于训练数据图片的中间；利用预处理好的训练数据来训练卷积神经网络模型；

以及目标跟踪模块；

其中，目标跟踪模块包括：

特征提取子模块，用于输入目标跟踪视频；利用训练好的卷积神经网络模型分别提取目标跟踪视频的第一帧图像、搜索帧图像以及搜索帧前T帧图像的特征；

第一互相关响应图生成子模块，用于将第一帧图像的特征和搜索帧图像的特征进行互相关操作，得到第一互相关响应图R1；

第二互相关响应图生成子模块，用于采用三维卷积方式对搜索帧前T帧图像的特征进行融合，生成注意力响应图；将注意力响应图和第一帧图像的特征相乘，得到新的模板帧特征；将新的模板帧特征和搜索帧的特征进行互相关操作，得到第二互相关响应图R2；

判断子模块，用于分别计算第一互相关响应图R1和第二互相关响应图R2的APCE系数；将第一互相关响应图R1和第二互相关响应图R2中APCE系数较大的一项作为最新跟踪对象；

以及跟踪子模块，用于以最新跟踪对象作为跟踪目标来进行目标跟踪。

6.一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-4中任一项所述的时空卷积孪生匹配网络目标跟踪方法。

7.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-4中任一项所述的时空卷积孪生匹配网络目标跟踪方法。