[发明专利]图像的多标签分割方法、装置、计算机设备及存储介质

说明书

本申请涉及一种图像的多标签分割方法、装置、计算机设备及存储介质。方法包括：确定从目标图像中提取的初始图像特征；将初始图像特征输入注意力网络进行处理，得到注意力网络输出的多个查询表征向量；每个查询表征向量用于表征注意力网络学习提取的同一类图像特征；基于各查询表征向量和初始图像特征进行掩膜预测，得到目标图像对应的多个预测掩膜；多个预测掩膜与多个查询表征向量数量匹配；根据多个查询表征向量进行分类预测，得到多个预测掩膜对应的多类别概率分布；根据多类别概率分布，确定多个预测掩膜的掩膜分类结果。采用本方法，能够提高图像多标签分割的效率。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像的多标签分割方法、装置、计算机设备及存储介质。

背景技术

随着图像处理技术的发展，出现了语义分割技术。语义分割问题被视为像素级别的分类任务，并且受到广泛关注的是多分类任务，即像素的单标签问题。语义分割模型在给定输入图像的情况下输出各个像素对应的单个类别标签。

传统技术中，语义分割模型只对像素类别互斥的单标签任务有效，即，只使用一个语义分割模型无法处理标签重叠的问题。因此，存在几种重叠的标签，就需要相应数量的语义分割模型，这会造成推理时间和计算开销显著增加，导致效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种图像的多标签分割方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够提高图像多标签分割的效率。

第一方面，本申请提供了一种图像的多标签分割方法，包括：

确定从目标图像中提取的初始图像特征；

将初始图像特征输入注意力网络进行处理，得到注意力网络输出的多个查询表征向量；每个查询表征向量用于表征注意力网络学习提取的同一类图像特征；

基于各查询表征向量和初始图像特征进行掩膜预测，得到目标图像对应的多个预测掩膜；多个预测掩膜与多个查询表征向量数量匹配；

根据多个查询表征向量进行分类预测，得到多个预测掩膜对应的多类别概率分布；

根据多类别概率分布，确定多个预测掩膜的掩膜分类结果。

在一些实施例中，根据多个查询表征向量进行分类预测，得到多个预测掩膜对应的多类别概率分布之前，方法还包括：

通过线性变换层，对多个查询表征向量进行特征维度变换，得到多个维度变换后的查询表征向量；

根据多个查询表征向量进行分类预测，得到多个预测掩膜对应的多类别概率分布，包括：

通过线性分类器，对多个维度变换后的查询表征向量进行多维度的分类预测，得到多个预测掩膜对应的多类别概率分布。

在一些实施例中，基于各查询表征向量和初始图像特征进行掩膜预测，得到目标图像对应的多个预测掩膜，包括：

对初始图像特征进行多层上采样处理，得到目标图像特征；目标图像特征相较于初始图像特征具有更丰富的细节信息；

根据各维度变换后的查询表征向量和目标图像特征进行掩膜预测，得到目标图像对应的多个预测掩膜。

在一些实施例中，根据多个查询表征向量进行分类预测，得到多个预测掩膜对应的多类别概率分布，包括：

根据多个查询表征向量进行多维度的分类预测，得到多个预测掩膜对应的初始多类别概率分布；初始多类别概率分布包括空类别的概率分布；

从初始多类别概率分布中去除空类别的概率分布，得到多个预测掩膜对应的多类别概率分布。

在一些实施例中，掩膜分类结果是将目标图像作为图像的多标签分割模型的输入得到的输出结果；确定从目标图像中提取的初始图像特征之前，方法还包括：

在每轮迭代训练中，基于样本图像对应的多个样本预测掩膜以及多个样本预测掩膜对应的多类别概率分布进行二分图匹配，确定各样本预测掩膜对应的标签掩膜和标签类别；