[发明专利]对图像进行自动语义标注的方法、装置与计算机设备

权利要求书

1.一种对图像语义标注装置进行训练的方法，包括：

a.提供多幅训练图像，各训练图像的语义和视觉属性描述已知；

b.将至少部分所述训练图像输入到所述图像语义标注装置的定位器；

c.由所述定位器确定输入的每幅训练图像的至少一个局部区域，并将所确定的各个局部区域输入到所述图像语义标注装置的属性预测器；

d.由所述属性预测器得到输入的每个局部区域的视觉属性预测结果；

e.根据得到的每个局部区域的视觉属性预测结果以及相应训练图像的已知的视觉属性描述，训练所述定位器和所述属性预测器。

2.如权利要求1所述的方法，其中：

所述多幅训练图像的语义为对应于同一粗粒度语义的不完全相同的细粒度语义。

3.如权利要求2所述的方法，其中：

所述粗粒度语义对应于一种粗粒度分类对象，不同的所述细粒度语义对应于属于该种粗粒度分类对象的不同的细粒度分类对象。

4.如权利要求3所述的方法，其中：

每个所述细粒度分类对象包含至少一个特征部位，所述视觉属性描述被根据其所对应的特征部位而划分为不同的组，所述方法包括：

针对每个所述特征部位，重复所述步骤b至d直至所述视觉属性预测结果收敛。

5.根据权利要求1至4中任一项所述的方法，所述步骤a包括:

对包含图像的网页进行挖掘，得到所述多幅训练图像、各训练图像的语义标签和所述视觉属性描述。

6.根据权利要求1至4中任一项所述的方法，所述步骤e包括：

针对每个所述局部区域，根据该局部区域的视觉属性预测结果和相应训练图像的视觉属性描述，计算损失函数，用于对所述定位器和所述属性预测器的训练。

7.根据权利要求6所述的方法，所述步骤e还包括：

根据反向传播算法，计算所述定位器和所述属性预测器的梯度,确定或更新所述定位器和所述属性预测器的参数。

8.根据权利要求4所述的方法，还包括：

f.从所述多幅训练图像中选取至少一部分训练图像；

g.由经过训练的所述定位器对选出的每幅训练图像进行处理，从而在该幅训练图像上定位该幅训练图像所对应的细粒度分类对象的至少一个特征部位；

h.将为每幅选出的训练图像定位的特征部位、该训练图像的已知的语义标签输入到所述图像语义标注装置的分类器，对所述分类器进行训练。

9.根据权利要求8所述的方法，所述步骤h包括：

针对每幅选出的训练图像，计算定位出的每个特征部位的卷积特征；

根据计算出的每个特征部位的卷积特征，为该幅训练图像生成向量；

由支持向量机来根据所生成的向量来训练所述分类器。

10.根据权利要求9所述的方法，所述步骤h还包括：

针对每幅选出的训练图像，计算该训练图像的整体的卷积特征；

所述为该幅图像生成向量的步骤还包括：

根据计算出的该幅图像的整体的卷积特征，以及计算出的该幅图像的每个特征部位的卷积特征，为该训练图像生成所述向量。

11.一种图像语义标注方法，包括：

I.根据权利要求1至10中任一项所述的方法对图像语义标注装置进行训练；

II.由所述经过训练的图像语义标注装置对待标注图像进行语义标注。

12.根据权利要求11所述的方法，所述步骤II包括：

将所述待标注图像输入到所述经过训练的图像语义标注装置的定位器，由所述定位器定位所述待标注图像所对应的细粒度对象的至少一个特征部位；

将定位出的所述待标注图像所对应的细粒度对象的所述至少一个特征部位输入到所述经过训练的语义标注装置的分类器，由所述分类器根据所述至少一个特征部位生成所述待标注图像的语义。

13.根据权利要求12所述的方法，其中，所述分类器为所述待标注图像生成的语义包括细粒度语义。