[发明专利]一种基于混合结构的分割方法、装置及存储介质

权利要求书

1.一种基于混合结构的分割方法，其特征在于，所述方法包括以下步骤：

将待分割图像输入一个基于CNN或者Transformer的骨干网络模型中，得到待分割图像的多尺度特征；

利用一个可变性编码器将多尺度特征进一步对齐；

将对齐后的多尺度特征分为两部分，一部分输入像素解码器中得到特征图，另一部分输入混合解码器中生成空间混合特征；

将生成的空间混合特征经过前馈神经网络后的得到相应的特征表示，将特征表示回归出物体的类别和对应的边界框，与像素解码器生成的特征图做卷积运算，得到相应的分割掩码。

2.根据权利要求1所述的基于混合结构的分割方法，其特征在于，所述可变性编码器将多尺度特征进一步对齐的具体方法包括：将与特征相邻的上下特征提取出来做3D卷积，对下层的特征做上采样，对上层的特征做下采样，然后将上层特征和下层特征进行拼接，若没有上层特征或者下层特征，则不要相应的特征，只采用两层进行对齐。

3.根据权利要求1所述的基于混合结构的分割方法，其特征在于，所述像素解码器为一种可学习的自适应像素解码器，具体包括：根据位置矢量自适应学习到适合当前尺度的一个特征混合。

4.根据权利要求1所述的基于混合结构的分割方法，其特征在于，所述混合解码器中生成空间混合特征的具体方法包括：

对多尺度特征根据Query和位置矢量生成一个带有位置感知的采样坐标，依据所述采样坐标在可变形编码器的最后一层进行采样，得到采样的特征集合；

Query与所述特征集合进行交互，具体包括：特征集合在经过Layer norm后会和Content Query生成的权重进行混合，得到通道混合特征；

将通道混合特征转置后再次与Content Query生成的权重进行混合，得到空间混合特征。

5.根据权利要求4所述的基于混合结构的分割方法，其特征在于，将混合解码器通道分成多组混合结构分别进行生成多组空间混合特征，将多组空间混合特征经过一个线性层投射到与Content Query相同的维度，然后作Residual addition残差相加运算得到最终的空间混合特征。

6.一种基于混合结构的分割装置，其特征在于，装置包括：

多尺度特征获取模块，用于将待分割图像输入一个基于CNN或者Transformer的骨干网络模型中，得到待分割图像的多尺度特征；

多尺度特征预处理模块，用于利用一个可变性编码器将多尺度特征进一步对齐；

多尺度特征分处理模块，用于将对齐后的多尺度特征分为两部分，一部分输入像素解码器中得到特征图，另一部分输入混合解码器中生成空间混合特征；

分割掩码获取模块，用于将生成的空间混合特征经过前馈神经网络后的得到相应的特征表示，将特征表示回归出物体的类别和对应的边界框，与像素解码器生成的特征图做卷积运算，得到相应的分割掩码。

7.一种基于混合结构的分割装置，其特征在于，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行权利要求1-5中任一项所述的基于混合结构的分割方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的基于混合结构的分割方法。