[发明专利]基于多模态的图像标注装置以及方法

权利要求书

1.一种基于多模态的图像标注装置，所述图像标注装置包括：

分数生成单元，利用训练图像以及图像的多个模态，为查询图像生成多组关于标注词典中所有标签的第一分数；

后融合单元，将获得的多组分数进行融合来获得关于所有标签的最终分数；

标签选择单元，根据所有标签的最终分数，选择具有较大标签分数的一个或多个标签作为所述查询图像的标签，

其中，所述图像标注装置还包括：

模态拼接单元，将图像的所有模态直接拼接成一组合模态；

并且，所述分数生成单元还用于利用所述训练图像及所述组合模态，为所述查询图像生成一组关于所述所有标签的第二分数；以及所述后融合单元将多组所述第一分数与所述第二分数进行融合来获得关于所述所有标签的最终分数。

2.根据权利要求1所述的图像标注装置，其中，所述后融合单元具体用于：对多组所述第一分数进行线性组合；并且将利用所述组合模态生成的所述第二分数作为约束项以引导所述线性组合。

3.根据权利要求2所述的图像标注装置，其中，所述后融合单元中的所述线性组合获得的标签分数为：TS_c＝∑_t＝1,...,Mw_tTS_t；其中TS_t为所述第一分数，M为所述多个模态的个数；w_t为线性权重，所述线性权重满足如下条件：

(1)所有线性权重均大于或者等于零；

(2)线性权重的L2-范数最小；

(3)线性组合中的TS_c和TS_a尽可能接近；所述TS_a为所述第二分数。

4.根据权利要求3所述的图像标注装置，其中，所述线性组合满足如下约束：

minw12wTw+μ2||TSc-TSa||22]]>

s.t.w_i≥0,i＝1,...,M

其中，w＝(w₁,w₂,…,w_M)^T，μ是一个给定的常数。

5.根据权利要求3所述的图像标注装置，其中，所述图像标注装置还包括：

分数更新单元，根据所述线性组合获得的标签分数TS_c来更新所述第二分数TS_a；

并且，所述后融合单元还用于根据更新后的所述第二分数TS_a求解所述线性权重w，以更新所述线性组合获得的标签分数TS_c。

6.根据权利要求5所述的图像标注装置，其中，所述图像标注装置还包括：

条件判断单元，判断是否满足预设条件；

在满足预设条件时，所述后融合单元还用于将获得的标签分数TS_c作为关于所有标签的最终分数；在不满足预定条件时，所述分数更新单元继续更新所述第二分数TS_a。