[发明专利]图像的多标签分割方法、装置、计算机设备及存储介质

权利要求书

1.一种图像的多标签分割方法，其特征在于，包括：

确定从目标图像中提取的初始图像特征；

将所述初始图像特征输入注意力网络进行处理，得到所述注意力网络输出的多个查询表征向量；每个所述查询表征向量用于表征所述注意力网络学习提取的同一类图像特征；

基于各所述查询表征向量和所述初始图像特征进行掩膜预测，得到所述目标图像对应的多个预测掩膜；所述多个预测掩膜与所述多个查询表征向量数量匹配；

根据所述多个查询表征向量进行分类预测，得到所述多个预测掩膜对应的多类别概率分布；

根据所述多类别概率分布，确定所述多个预测掩膜的掩膜分类结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个查询表征向量进行分类预测，得到所述多个预测掩膜对应的多类别概率分布之前，所述方法还包括：

通过线性变换层，对所述多个查询表征向量进行特征维度变换，得到多个维度变换后的查询表征向量；

所述根据所述多个查询表征向量进行分类预测，得到所述多个预测掩膜对应的多类别概率分布，包括：

通过线性分类器，对所述多个维度变换后的查询表征向量进行多维度的分类预测，得到所述多个预测掩膜对应的多类别概率分布。

3.根据权利要求2所述的方法，其特征在于，所述基于各所述查询表征向量和所述初始图像特征进行掩膜预测，得到所述目标图像对应的多个预测掩膜，包括：

对所述初始图像特征进行多层上采样处理，得到目标图像特征；所述目标图像特征相较于所述初始图像特征具有更丰富的细节信息；

根据各所述维度变换后的查询表征向量和所述目标图像特征进行掩膜预测，得到所述目标图像对应的多个预测掩膜。

4.根据权利要求1所述的方法，其特征在于，所述根据所述多个查询表征向量进行分类预测，得到所述多个预测掩膜对应的多类别概率分布，包括：

根据所述多个查询表征向量进行多维度的分类预测，得到所述多个预测掩膜对应的初始多类别概率分布；所述初始多类别概率分布包括空类别的概率分布；

从所述初始多类别概率分布中去除所述空类别的概率分布，得到所述多个预测掩膜对应的多类别概率分布。

5.根据权利要求1所述的方法，其特征在于，所述掩膜分类结果是将所述目标图像作为图像的多标签分割模型的输入得到的输出结果；所述确定从目标图像中提取的初始图像特征之前，所述方法还包括：

在每轮迭代训练中，基于样本图像对应的多个样本预测掩膜以及所述多个样本预测掩膜对应的多类别概率分布进行二分图匹配，确定各所述样本预测掩膜对应的标签掩膜和标签类别；

基于所述样本图像对应的多类别概率分布和各所述样本预测掩膜对应的标签类别之间的差异，生成分类预测损失值；

基于各所述样本预测掩膜和相应的标签掩膜之间的差异，生成掩膜预测损失值；

朝着所述掩膜预测损失值和所述分类预测损失值变小的方向对待训练的图像的多标签分割模型进行训练，直至达到训练停止条件，得到已训练的图像的多标签分割模型。

6.根据权利要求1所述的方法，其特征在于，所述目标图像对应的类别包括多个缺陷类别和多个面类别；所述缺陷类别下的像素点和所述面类别下的像素点存在重叠的情况；所述根据所述多个查询表征向量进行分类预测，得到所述多个预测掩膜对应的多类别概率分布，包括：

根据所述多个查询表征向量进行面类别预测以及缺陷类别预测，得到所述多个预测掩膜对应的多类别概率分布；所述多个预测掩膜对应的多类别概率分布包括每个查询表征向量对应各个类别的概率。

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述掩膜分类结果包括不同分类维度的掩膜类别下的掩膜；所述方法还包括：

根据所述掩膜分类结果，从所述多个预测掩膜中确定各个分类维度的掩膜类别下的掩膜，得到各个分类维度对应的至少一待合并掩膜；

分别对各个分类维度对应的至少一待合并掩膜进行合并处理，得到各个分类维度对应的掩膜合并结果；所述掩膜合并结果用于指示同一分类维度的掩膜类别的分布情况。