[发明专利]一种弱监督的深度上下文感知图像表征方法及系统

说明书

本发明公开了一种弱监督的深度上下文感知图像表征方法及系统，包括：获取待处理图像；对待处理图像进行表征提取，提取出基础视觉表征；基于基础视觉表征，生成上下文强化视觉表征；对上下文强化视觉表征映射为哈希向量；对哈希向量，进行二值化处理，得到待处理图像的哈希表征。该方法充分捕获了图像的语义信息，并在一个统一的框架内增强了图像表征的辨别力。本发明引入了辨别损失，强制图像表征重新生成标签。这样可以增强图像表征的区分性，且进一步提高哈希码的质量；相较于之前的方法，本发明提高了基于哈希表征的图像检索性能。

技术领域

本申请涉及图像表征技术领域，特别是涉及一种弱监督的深度上下文感知图像表征方法及系统。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

随着社交网络和移动智能手机的普及，大量的图片被网民记录和分享。为了克服海量图像带来的存储成本，同时满足高效图像检索的需求，图像哈希表征学习越来越引起人们的研究兴趣。受深度神经网络在表征学习方面成功的启发，人们的研究重点已经转向到探索深度图像哈希表征学习方法上。尽管它们取得了令人满意的进展，但大多数工作都是有监督的学习方法。换句话说，它们依赖于多个类别的大量标注图像，标注成本是非常昂贵的，故不适用于真实的应用中。我们知道，社交图片与用户提供的标签是相关联的，这些标签信息在一定程度上可以描述图片的语义信息。更重要的是，与图像类别标注信息相比，用户标签信息更容易获得。鉴于此弱监督的深度图像哈希表征学习，即利用用户标签作为监督信息而不是图像类别标注来学习哈希函数，是非常必要的。

但是，仅仅通过用户的标签信息来学习图像哈希函数并不简单，原因如下：

1)在社交媒体平台上，用户提供的标签并不完善。换句话说，它们可能与图像的类别没有直接的联系。例如，一幅图像对应的用户标签是“教堂”，“建筑”和“尖塔”，而它的类别却是“天空”。此外，由于社交媒体用户注重自我、喜欢个性表达等特点，致使与图片相关的标签通常是主观的或与内容无关的(如：美好的，漂亮的)。因此，如何从用户标签中挖掘有效的监督信息成为一个关键问题。

2)为了更好地学习用于图像检索的哈希表征，提取图像的细粒度语义信息至关重要。这样可以进一步增强图像与其对应语义标签之间的匹配。因此，如何全面理解图像的内容，提取有用的语义信息是迫切需要解决的问题。

现阶段，据我们所知，只有一个基于深度学习的弱监督图像哈希表征学习方法，该方法利用标签嵌入或二值化标签向量作为监督信息进行图像哈希表征学习。虽然取得了不错的性能，但它有几个关键的缺点：

1)基于二进制标签向量的学习模型认为两幅图像共享至少一个用户标签，它们就是相似的，这是不合理的。因为实际生活中，两幅图像共享用户标签，但它们的类别可能完全不同；

2)将整张图像全局编码当作视觉表征，这样一个紧凑的表示很难捕获图像中的细粒度语义细节。因此，弱监督的深度图像哈希表征学习仍处于起步阶段，仍有待进一步探索。

发明内容

为了解决现有技术的不足，本申请提供了一种弱监督的深度上下文感知图像表征方法及系统；具体来说，我们设计了一种新的图像编码器来增强图像内容的理解，它可以自适应地捕获有意义的区域上下文信息，并将它们聚合成新的图像表征。此外，由于监督信息薄弱，即用户的标签信息，可能会影响图像表征的区分性，我们引入了辨别损失来缓解这一问题。它迫使图像表征重新生成与其相关的标签信息，从而加强了图像和标签之间的对齐，以及学习到的哈希码的表征能力。最后，利用学习到的图像哈希码，可以有效地进行大规模图像检索。

第一方面，本申请提供了一种弱监督的深度上下文感知图像表征方法；

一种弱监督的深度上下文感知图像表征方法，包括：

获取待处理图像；