[发明专利]图片指代性分割方法、装置、计算机设备和存储介质

权利要求书

1.一种图片指代性分割方法，其特征在于，所述方法包括：

获取待分割图片，以及针对于所述待分割图片的语言表达式；所述语言表达式用于描述所述待分割图片的分割区域；

将所述待分割图片以及所述语言表达式输入训练完成的图片分割模型，通过所述图片分割模型确定所述待分割图片的视觉特征，以及所述语言表达式的语言特征，对所述视觉特征和所述语言特征进行特征融合，得到针对所述待分割图片的多模态特征，以及根据所述待分割图片的多模态特征获取所述待分割图片中的初始分割区域，根据所述初始分割区域以及所述视觉特征，得到针对所述待分割图片的实例感知特征；

根据所述多模态特征以及所述实例感知特征确定所述待分割图片的目标分割区域，获取所述待分割图片中位于所述目标分割区域的分割图片。

2.根据权利要求1所述的方法，其特征在于，所述确定所述待分割图片的视觉特征，包括：

通过视觉特征提取器获取所述待分割图片不同特征提取阶段得到的多组视觉特征；

所述对所述视觉特征和所述语言特征进行特征融合，得到针对所述待分割图片的多模态特征，包括：

对各特征提取阶段得到的视觉特征分别和所述语言特征进行特征融合，得到所述各特征提取阶段分别对应的多模态特征；

将所述各特征提取阶段分别对应的多模态特征进行融合，得到所述待分割图片的多模态特征。

3.根据权利要求2所述的方法，其特征在于，所述待分割图片的多模态特征包括所述待分割图片中各像素点的多模态特征；

所述根据所述待分割图片的多模态特征获取所述待分割图片中的初始分割区域，包括：

将所述待分割图片中各像素点的多模态特征输入预设的卷积神经网络，通过所述卷积神经网络获取所述待分割图片中各像素点属于所述分割区域的概率；

根据所述概率从所述待分割图片的像素点中确定出目标像素点，将所述目标像素点对应的图片区域作为所述初始分割区域。

4.根据权利要求3所述的方法，其特征在于，所述根据所述初始分割区域以及所述视觉特征，得到针对所述待分割图片的实例感知特征，包括：

获取所述待分割图片中各像素点在不同特征提取阶段得到的多组子视觉特征；

根据所述各像素点的多组子视觉特征，以及所述各像素点属于所述分割区域的概率，获取所述待分割图片对应的实例内核；

基于所述实例内核获取所述实例感知特征。

5.根据权利要求4所述的方法，其特征在于，根据所述各像素点的多组子视觉特征，以及所述各像素点属于所述分割区域的概率，获取所述待分割图片对应的实例内核，包括：

通过特征金字塔，获取所述多组子视觉特征对应的多组视觉增强特征，利用所述多组视觉增强特征生成针对于所述待分割图片的内核权重矩阵；

基于所述内核权重矩阵，以及所述待分割图片中各像素点属于所述分割区域的概率，得到所述实例内核。

6.根据权利要求5所述的方法，其特征在于，所述基于所述实例内核获取所述实例感知特征，包括：

利用预设的卷积层对所述多组视觉增强特征进行堆叠，生成编码特征映射矩阵；

根据所述实例内核以及所述编码特征映射矩阵，得到所述实例感知特征。