[发明专利]基于多模态的图像标注装置以及方法

摘要

本发明实施例提供一种基于多模态的图像标注装置以及方法，所述图像标注装置包括分数生成单元，利用训练图像及图像的多个模态，为查询图像生成多组关于标注词典中所有标签的第一分数;后融合单元，将获得的多组分数进行融合来获得关于所有标签的最终分数;标签选择单元，根据所有标签的最终分数，选择具有较大标签分数的一个或多个标签作为所述查询图像的标签。通过本发明实施例，可以对多个模态进行有效地融合;并且能获得更鲁棒且精确的图像标注结果。

主权项

一种基于多模态的图像标注装置，所述图像标注装置包括：分数生成单元，利用训练图像以及图像的多个模态，为查询图像生成多组关于标注词典中所有标签的第一分数；后融合单元，将获得的多组分数进行融合来获得关于所有标签的最终分数；标签选择单元，根据所有标签的最终分数，选择具有较大标签分数的一个或多个标签作为所述查询图像的标签，其中，所述图像标注装置还包括：模态拼接单元，将图像的所有模态直接拼接成一组合模态；并且，所述分数生成单元还用于利用所述训练图像及所述组合模态，为所述查询图像生成一组关于所述所有标签的第二分数；以及所述后融合单元将多组所述第一分数与所述第二分数进行融合来获得关于所述所有标签的最终分数。