[发明专利]改良的孪生卷积网络的目标跟踪与分割方法、系统及介质

权利要求书

1.一种改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，包括：

获取输入图像信息；

采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；

将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；

将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素作为第一特征图中的每一个ROW对应的置信度；

选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。

2.如权利要求1所述的改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，所述采用Refinement模块根据ROW生成目标掩膜的具体方法包括：

对最终生成掩膜矩阵时所使用的ROW进行反卷积得到第二特征图，将所述第二特征图与特征提取网络提取跟踪目标时所得到的中间特征图进行相加耦合；

将各个中间特征图经过三层模型降维，使各个中间特征图与ROW相同的通道数、宽和高，再将各个特征图进行相加；

将相加后得到的特征图通过最后一层卷积层得到第一矩阵，将第一矩阵进行二分类得到掩膜矩阵，所述掩膜矩阵的每个元素的值为0～1，将掩膜矩阵经过仿射变换映射回原图，并用设定的分割阈值将掩膜矩阵中的0～1之间的数值进行二值化，得到跟踪目标在原图中的目标掩膜，根据目标掩膜的最小外接矩形得到跟踪目标的边界框。

3.如权利要求1所述的改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，所述语义分割分支由1*1的卷积层构成；所述得分图分支由1*1的卷积层构成。

4.如权利要求2所述的改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，所述分割阈值为0.35。

5.一种改良的孪生卷积网络的目标跟踪与分割系统，其特征在于，包括：图像获取模块、图像特征提取模块、互相关模块、第一分析模块和第二分析模块，

所述图像获取模块用于获取输入图像信息；

所述图像特征提取模块采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；

所述互相关模块将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；

所述第一分析模块用于将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素作为第一特征图中的每一个ROW对应的置信度；

所述第二分析模块用于选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。

6.如权利要求5所述的改良的孪生卷积网络的目标跟踪与分割系统，其特征在于，所述采用Refinement模块根据ROW生成目标掩膜的具体方法包括：

对最终生成掩膜矩阵时所使用的ROW进行反卷积得到第二特征图，将所述第二特征图与特征提取网络提取跟踪目标时所得到的中间特征图进行相加耦合；

将各个中间特征图经过三层模型降维，使各个中间特征图与ROW相同的通道数、宽和高，再将各个特征图进行相加；

将相加后得到的特征图通过最后一层卷积层得到第一矩阵，将第一矩阵进行二分类得到掩膜矩阵，所述掩膜矩阵的每个元素的值为0～1，将掩膜矩阵经过仿射变换映射回原图，并用设定的分割阈值将掩膜矩阵中的0～1之间的数值进行二值化，得到跟踪目标在原图中的目标掩膜，根据目标掩膜的最小外接矩形得到跟踪目标的边界框。

7.如权利要求5所述的改良的孪生卷积网络的目标跟踪与分割系统，其特征在于，所述语义分割分支由1*1的卷积层构成；所述得分图分支由1*1的卷积层构成。

8.如权利要求6所述的改良的孪生卷积网络的目标跟踪与分割系统，其特征在于，所述分割阈值为0.35。