[发明专利]一种基于混合结构的分割方法、装置及存储介质

说明书

本发明公开了一种基于混合结构的分割方法、装置及存储介质，方法包括将待分割图像输入一个基于CNN或者Transformer的骨干网络模型中，得到待分割图像的多尺度特征；利用一个可变性编码器将多尺度特征进一步对齐；将对齐后的多尺度特征分为两部分，一部分输入像素解码器中得到特征图，另一部分输入混合解码器中生成空间混合特征；将生成的空间混合特征经过前馈神经网络后的得到相应的特征表示，将特征表示回归出物体的类别和对应的边界框，与像素解码器生成的特征图做卷积运算，得到相应的分割掩码。本发明方法具有分割效果好，收敛快的特点。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于混合结构的分割方法、装置及存储介质。

背景技术

现有的分割方法一般基于卷积神经网络或者Transformer模型，基于卷积神经网络(Convolutional Neural Networks)的分割模型得到了很大的发展，但是卷积神经网络具有难以捕捉图片特征之间全局关联性的特性，因此，基于卷积神经网络的分割模型目前遇到了一些瓶颈，虽然有一些采用数据增强(DataAugmentation)和神经架构搜索(NeuralArchitectural Search)等技术的方案，可以继续提升基于卷积神经网络分割模型的分割效果，但是其付出的代价也是很高的；

近年来，尤其是2020年DETR模型提出以后，基于Transformer的视觉检测和分割模型得到了较多的关注和发展。基于Transformer的模型，可以建立特征之间的全局联系，相较于卷积神经网络，带来了较大的性能提升。然而，Transformer具有收敛慢的特点，比如，DETR需要300个迭代(epochs)才能收敛，且计算量要求较高，这对于模型的大规模应用是不可接受的。

发明内容

本发明针对上述问题，提供了一种基于混合结构的分割方法、装置及存储介质，具有分割效果好，收敛快的特点。

本发明的第一方面，提供了一种基于混合结构的分割方法，方法包括如下步骤：

将待分割图像输入一个基于CNN或者Transformer的骨干网络模型中，得到待分割图像的多尺度特征；

利用一个可变性编码器将多尺度特征进一步对齐；

将对齐后的多尺度特征分为两部分，一部分输入像素解码器中得到特征图，另一部分输入混合解码器中生成空间混合特征；

将生成的空间混合特征经过前馈神经网络后的得到相应的特征表示，将特征表示回归出物体的类别和对应的边界框，与像素解码器生成的特征图做卷积运算，得到相应的分割掩码。

本发明的进一步技术方案：所述可变性编码器将多尺度特征进一步对齐的具体方法包括：将与特征相邻的上下特征提取出来做3D卷积，对下层的特征做上采样，对上层的特征做下采样，然后将上层特征和下层特征进行拼接，若没有上层特征或者下层特征，则不要相应的特征，只采用两层进行对齐。

本发明的进一步技术方案：所述像素解码器为一种可学习的自适应像素解码器，具体包括：根据位置矢量自适应学习到适合当前尺度的一个特征混合。

本发明的进一步技术方案：所述混合解码器中生成空间混合特征的具体方法包括：

对多尺度特征根据Query和位置矢量生成一个带有位置感知的采样坐标，依据所述采样坐标在可变形编码器的最后一层进行采样，得到采样的特征集合；

Query与所述特征集合进行交互，具体包括：特征集合在经过Layer norm后会和Content Query生成的权重进行混合，得到通道混合特征；

将通道混合特征转置后再次与Content Query生成的权重进行混合，得到空间混合特征。