[发明专利]一种完全卷积的实时视频实例分割方法

权利要求书

1.一种完全卷积的实时视频实例分割方法，其特征在于，所述完全卷积的实时视频实例分割方法，包括：

获取待处理图像，输入到特征提取网络提取低阶、中阶和高阶初始特征图；

将低阶、中阶和高阶初始特征图输入到编码器，进行融合拼接，得到编码特征；

将编码特征输入到解码器，所述解码器包括掩码生成分支和实例激活分支，编码特征输入到掩码生成分支后得到分割掩码，编码特征输入到实例激活分支后得到动态卷积核、分类信息和匹配信息；

将分割掩码与动态卷积核做动态卷积得到最终实例分割结果。

2.根据权利要求1所述的完全卷积的实时视频实例分割方法，其特征在于，所述编码器包括三个分支，第一分支包括一个金字塔池化模块和一个卷积模块，高阶初始特征图经过第一分支后得到第一分支输出特征；第二分支也包括一个金字塔池化模块和一个卷积模块，中阶初始特征图经过金字塔池化模块后，与第一分支金字塔池化模块的输出特征相加，然后经过卷积模块得到第二分支输出特征；第三分支包括一个卷积模块，低阶初始特征图与第二分支金字塔池化模块的输出特征相加，然后经过卷积模块得到第三分支输出特征；最后将第一分支输出特征、第二分支输出特征和第三分支输出特征连接后，作为编码器输出的编码特征。

3.根据权利要求1所述的完全卷积的实时视频实例分割方法，其特征在于，所述掩码生成分支，输入的编码特征依次经过3x3卷积层、BatchNorm层和ReLU激活函数得到特征1，然后经过1x1卷积层、BatchNorm层和sigmoid激活函数得到特征2，所述的特征1和所述的特征2元素相加的到特征3，特征3经过一个7×7的卷积层，激活函数为Sigmoid，得到权重系数Ms；最后，权重系数Ms与输入的编码特征相乘即可得到分割掩码。

4.根据权利要求1所述的完全卷积的实时视频实例分割方法，其特征在于，所述实例激活分支，执行如下操作：

将编码特征输入到一个单阶段的目标检测网络当中，生成实例的检测框信息和置信度信息；

目标检测网络的输出特征输入到实例激活映射模块，得到实例激活特征；

将实例激活特征通过三个全连接层得到动态卷积核、分类信息和匹配信息；

其中，所述目标检测网络为Fcos网络，所述实例激活映射模块，执行如下操作：

对输入特征(C，H，W)进行卷积操作，将输入的通道数变为400，并将特征的长度维度和宽度维度展平，得到特征(400，H*W)；

将输入特征的长宽维度相乘，再经过变换得到特征(H*W，C)；

将所述特征(400，H*W)和特征(H*W，C)相乘得到实例激活特征。

5.根据权利要求1所述的完全卷积的实时视频实例分割方法，，其特征在于，所述完全卷积的实时视频实例分割方法，还包括：

在训练时，整体损失函数如下：

其中，表示目标分类损失，表示掩码损失，表示目标框损失，λ_c和λ_s为权重系数；

其中，和为骰子损失和像素级二进制交叉熵损失，λ_dice和λ_pix为对应的权重系数。