[发明专利]一种图像检索的方法以及相关装置

说明书

本申请公开了一种图像检索的方法以及相关装置，可以应用于人工智能的计算机视觉技术中。通过获取图像特征和文本特征；然后构建相似度节点，以在相似度节点之间传递相似度信息；进一步根据权重信息对相似度节点进行过滤；进而基于更新后的相似度节点和过滤后的相似度节点确定目标相似度值，以响应于目标图像的输入确定对应的文本检索结果。从而实现跨模态的信息检索过程，由于检索过程在全局相似度特征与局部相似度特征之间的相似度信息传递，以及语义权重的筛选，提高了相似度特征的准确性，从而提升图像检索准确率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像检索的方法以及相关装置。

背景技术

随着互联网的兴起和数据爆炸式呈现，海量信息涌入人们的生活。如何借助多媒体数据来寻找个人所需的数据信息，而不仅限于借助文本形式，是一个亟待解决的问题。图像文件、视频文件、音频文件等将成为用户越来越频繁的查询对象。其中随着办公无纸化和搜索引擎对象多媒体化，图像文本处理和检索将成为信息检索的一个重要的技术。

一般，可用采用全局特征的相似度进行图像文本的检索，即选用全局特征相似度高的对象作为检索结果。

然而，由于图像文本检索的过程中可能存在相似度较高的文本信息，采用全局特征相似度检索的过程中无法将这些信息进行识别，影响图像识别的准确性。

发明内容

有鉴于此，本申请提供一种图像检索的方法，可以有效避免模糊特征产生的影响，提高图像检索的准确性。

本申请第一方面提供一种图像检索的方法，可以应用于终端设备中包含图像检索功能的系统或程序中，具体包括：获取图像库中的训练图像对应的图像特征和文本库中的训练文本对应的文本特征，所述图像特征包括图像整体特征和图像区域特征，所述文本特征包括文本整体特征和文本单词特征；

基于所述图像整体特征和所述文本整体特征确定全局相似度特征；

基于所述图像区域特征和所述文本单词特征确定局部相似度特征；

根据所述全局相似度特征和所述局部相似度特征构建相似度节点，以在所述相似度节点之间传递相似度信息，所述相似度信息用于对所述相似度节点进行更新，所述相似度节点之间相互关联；

根据注意力机制确定所述全局相似度特征和所述局部相似度特征对应的权重信息，所述权重信息用于对所述相似度节点进行过滤，所述权重信息基于语义信息设定，所述语义信息与所述训练文本相对应；

基于更新后的所述相似度节点和过滤后的所述相似度节点确定目标相似度值，以响应于目标图像的输入确定对应的文本检索结果。

可选的，在本申请一些可能的实现方式中，所述获取图像库中的训练图像对应的图像特征和文本库中的训练文本对应的文本特征，包括：

针对所述图像库中的每个所述训练图像获取多个目标检测框，所述目标检测框用于指示所述训练图像中的图像区域特征；

基于所述图像区域特征进行归一化，以确定所述图像整体特征；

将所述文本库中的每个所述训练文本进行分词处理，以得到多个训练单词；

根据所述训练单词进行编码，以得到文本单词特征；

基于所述文本单词特征进行归一化，以得到所述文本整体特征。

可选的，在本申请一些可能的实现方式中，所述方法还包括：

获取预设特征维度；

基于所述预设特征维度对所述图像区域特征和所述文本单词特征进行调整，以使得所述图像区域特征的特征维度和所述文本单词特征的特征维度相同。