[发明专利]一种基于深度学习的多目标跟踪方法

权利要求书

1.一种基于深度学习的多目标跟踪方法，其特征在于，所述方法包括对视频图像序列执行特征提取的过程，所述特征提取的过程包括：

将视频图像序列中相邻的两视频帧作为原始输入，获取所述原始输入对应的原始张量，将所述原始张量输入至多特征提取网络，获得多特征图；

将所述多特征图输入时空融合网络，将时序信息与空间信息融合，获得时空特征增强的时空融合特征图，实现对视频图像序列的特征提取；

所述多特征提取网络为残差网络架构，包括有多个多特征提取模块，每个所述多特征提取模块包括通道子模块、动作子模块、特征相关子模块及残差网络的残差块；

所述多特征提取网络采用下述方法获得所述多特征图：

所述通道子模块对所述原始张量执行空间平均池化处理、卷积处理和激活处理，生成通道掩码，所述通道掩码与所述原始张量融合，获得与所述原始张量维度相同的通道特征；

所述动作子模块对所述原始张量进行特征提取，获得帧间目标运动变化张量，对所述帧间目标运动变化张量执行空间平均池化处理、卷积处理和激活处理，生成动作掩码，所述动作掩码与所述原始张量融合，获得与所述原始张量维度相同的动作特征；

所述特征相关子模块对所述原始张量执行卷积处理和相关操作处理，获得与所述原始张量维度相同的特征相关特征；

将所述通道特征、所述动作特征、所述特征相关特征及所述原始张量进行融合，获得融合特征，将所述融合特征输入所述残差网络的残差块进行特征提取，再将所述残差网络的残差块提取的特征与所述原始张量进行融合，获得所述多特征图。

2.根据权利要求1所述的基于深度学习的多目标跟踪方法，其特征在于，所述通道子模块对所述原始张量执行空间平均池化处理、卷积处理和激活处理，生成通道掩码，所述通道掩码与所述原始张量融合，获得与所述原始张量维度相同的通道特征，具体包括：

所述通道子模块对所述原始张量执行空间平均池化处理，获得输入特征的全局空间特征；

利用1*1卷积压缩所述全局空间特征的通道数并重构特征，然后再次利用1*1卷积对通道数进行还原，获得还原后特征张量；

利用激活函数激活所述还原后特征张量，生成所述通道掩码；

将所述通道掩码与所述原始张量进行点积运算的融合，获得所述通道特征。

3.根据权利要求1所述的基于深度学习的多目标跟踪方法，其特征在于，所述动作子模块对所述原始张量进行特征提取，获得帧间目标运动变化张量，对所述帧间目标运动变化张量执行空间平均池化处理、卷积处理和激活处理，生成动作掩码，所述动作掩码与所述原始张量融合，获得与所述原始张量维度相同的动作特征，具体包括：

所述动作子模块将所述原始张量分离为前一帧图像张量和当前帧图像张量，对所述前一帧图像张量和所述当前帧图像张量分别执行维度信息不变的图像特征提取，将所述当前帧图像张量经特征提取后的结果执行卷积操作，然后与所述前一帧图像张量经特征提取的结果相减，获得所述帧间目标运动变化张量；

对所述帧间目标运动变化张量执行空间平均池化处理，获得目标运动全局空间特征；

利用1*1卷积处理所述目标运动全局空间特征，获得还原后特征张量；

利用激活函数激活所述还原后特征张量，生成所述动作掩码；

将所述动作掩码与所述原始张量进行点积运算的融合，获得所述动作特征。

4.根据权利要求1至3中任一项所述的基于深度学习的多目标跟踪方法，其特征在于，所述方法还包括：

将所述时空融合特征图输入区域提议网络进行训练，获得目标的分类和边界框的回归，确定回归的目标检测框；

采用注意力模块在所述目标检测框上提取用于数据关联的原始目标特征；

基于所述原始目标特征进行特征聚合，获得聚合目标特征；

基于所述聚合目标特征进行数据关联，获得目标在时序上的轨迹。