[发明专利]使用弱监督数据自动生成图像字幕的方法和系统

摘要

本发明的各实施例总体上涉及使用弱监督为图像配字幕。具体地，本文中描述了用于使用弱监督为图像配字幕的技术。在实现中，获取关于目标图像的弱监督数据并且使用其提供补充被获得用于图像配字幕的全局图像概念的细节信息。弱监督数据是指没有被紧密地监管并且可能包括误差的噪声数据。给定目标图像，可以从弱注释的图像的源、诸如在线社交网络采集在视觉上相似的图像的弱监督数据。通常，在线发布的图像包括由用户添加的标签、标题、标注和短描述形式的“弱”注释。通过提取在不同源中发现的在视觉上相似的图像的关键词来生成目标图像的弱监督数据。然后在图像配字幕分析期间采用弱监督数据中包括的关键词来调制被应用于概率分类的权重。

主权项

在使用一个或多个计算设备促进图像采集管理的数字媒体环境中，一种用于使用弱监督数据自动生成图像字幕的方法，所述方法包括：获取用于字幕分析的目标图像；向所述目标图像应用特征提取以生成对应于所述图像的全局概念；将所述目标图像与来自弱注释图像的源的图像相比较以标识在视觉上相似的图像；通过从所述在视觉上相似的图像中提取用于指示图像细节的所述目标图像的关键词来构建所述关键词的集合；以及供应指示图像细节的所述关键词的集合作为所述弱监督数据用于连同所述全局概念进行字幕生成。