[发明专利]基于重参数卷积和特征过滤器的目标跟踪方法与系统

权利要求书

1.一种基于重参数卷积和特征过滤器的目标跟踪方法，其特征在于，所述方法包括如下步骤：

步骤一：在双分支网络目标跟踪框架下，基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络；其中，所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征；其中，无批次归一化重参数卷积模块的构建方法包括如下步骤：

在卷积层之后，利用线性缩放层对通道维度上的特征进行缩放，用于增大感受野的同时以获得更丰富的通道信息；

将单个卷积分支中的N层压缩为一层，并依次对D个卷积分支进行压缩，以得到一个单一卷积块；

将所有卷积分支合并之后得到的单一卷积块输入至所添加的无批次归一化层中；

将所述无批次归一化层的输出作为输入，输入到激活函数中以最终构建得到所述无批次归一化重参数卷积模块；

步骤二：在双分支网络目标跟踪框架下，基于互相关操作以及特征过滤器构建得到特征融合网络，并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合，以获得中间融合特征；

步骤三：将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征，通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图；

步骤四：对分数预测图中得分最高的目标候选块进行目标跟踪；

其中，所述步骤二具体包括：

通过所述特征提取子网络对目标模板分支与搜索区域分支进行提取以得到目标模板深度特征以及搜索区域深度特征，将目标模板深度特征与搜索区域深度特征输入至特征过滤器中，特征过滤器通过卷积运算将目标模板深度特征与搜索区域深度特征分别投影得到查询、键K和值V；

对查询与键K进行一维卷积投影得到和，随后对和进行缩放点积运算；

通过对值V进行一维卷积投影得到，利用注意力权重对有利信息特征进行增强，以得到中间融合特征；

特征过滤器通过卷积运算将目标模板深度特征与搜索区域深度特征分别投影得到查询、键K和值V的步骤中，对应有如下公式：

；

；

；

其中，表示核的卷积算子，表示核的卷积算子，表示目标模板深度特征，表示搜索区域深度特征，，，，、和均为定值；

对查询与键K进行一维卷积投影得到和，随后对和进行缩放点积运算的步骤中，对应有如下公式：

；

其中，表示特征过滤器的注意力权重，表示归一化函数，表示转置操作；

通过对值V进行一维卷积投影得到，利用注意力权重对有利信息特征进行增强，以得到中间融合特征的步骤中，对应有如下公式：

；

其中，表示特征过滤器输出的中间融合特征。

2.根据权利要求1所述的一种基于重参数卷积和特征过滤器的目标跟踪方法，其特征在于，在压缩前存在D个卷积分支，每个卷积分支进行N层卷积运算，每层卷积的通道数用表示，即，表示第N层卷积的通道数；

进行卷积操作的公式表述为：

；

其中，表示卷积层的输入，表示第N层卷积层的输出， 表示输入到输出的映射矩阵，， ，表示实数集，表示输入的通道数，表示高度， 表示宽度；

整个卷积分支输入到输出的映射矩阵表示为：

；

其中，为第N层的映射矩阵。

3.根据权利要求2所述的一种基于重参数卷积和特征过滤器的目标跟踪方法，其特征在于，在卷积层之后，利用线性缩放层对通道维度上的特征进行缩放的步骤中，线性缩放层的计算输出表示为：

；

其中，表示通过线性缩放层后的输出，表示比例因子， 表示第个输出通道的卷积核。