[发明专利]跨媒体检索方法、装置、计算机设备和存储介质

说明书

本申请涉及一种跨媒体检索方法、装置、计算机设备和存储介质。所述方法用于从跨媒体信息数据库中获得检索目标，不仅考虑了待检索媒体信息与跨媒体信息的全局相似度，还通过文字媒体信息的全局特征对预设类别词语增加权重，强化文字媒体信息在预设类别词语的语意信息，将其作为局部特征，检索目标根据全局相似度和局部相似度的加权计算结果得到。即该方法综合了全局特征，以及待检索媒体信息与跨媒体信息在局部，尤其是预设类别词语这一维度语意上的相似度，解决了文字媒体信息与其它媒体信息语意不齐的问题，提高了检索效果。

技术领域

本申请涉及信息检索技术领域，特别是涉及一种跨媒体检索方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，记载信息的媒体形式出现了多样化。如，文本、图像、视频和音频均可记载信息。相同的信息内容可以用不同的媒体形式记录。这就使用户对跨媒体检索产生了需求，例如，用户输入文字“猫捉老鼠”，希望检索到猫捉老鼠的图片或视频。

传统的跨媒体检索方法，通过卷积神经网络提取图像特征，Word2vec提取文本特征，利用逻辑回归的语意匹配方法找到图像、文本这两种异构特征之间的关联，从而实现跨媒体检索。

而在实际应用中，不同媒体形式信息的语意信息是不同的，即不同媒体形式的信息存在语意对齐问题。如图片中的语意信息比文本丰富的多，仅通过卷积神经网络和Word2vec的方式提取的媒体特征并不能解决不同媒体数据间的语意对齐问题，进而影响检索效果。

发明内容

基于此，有必要针对上述技术问题，提供一种能够性能高的跨媒体检索方法、装置、计算机设备和存储介质。

一种跨媒体检索方法，用于从跨媒体信息数据库中匹配跨媒体信息获得检索目标，所述方法包括：

接收待检索媒体信息；所述跨媒体信息是与所述待检索媒体信息属于不同媒体类型的信息；所述待检索媒体信息和跨媒体信息其中之一的媒体类型为文字；

通过已训练好的神经网络获取文字媒体信息的全局特征，以及非文字媒体信息的全局特征；所述文字媒体信息为所述待检索媒体信息和跨媒体信息中媒体类型为文字的信息；所述非文字媒体信息为所述待检索媒体信息和跨媒体信息中媒体类型为非文字的信息；

获取所述非文字媒体信息的实体，根据所述实体得到非文字媒体信息的局部特征，并根据所述文字媒体信息的全局特征对预设类别词语增加权重，得到文字媒体信息的局部特征；

根据所述文字媒体信息的全局特征和非文字媒体信息的全局特征，计算所述文字媒体信息和非文字媒体信息的全局相似度；

根据所述文字媒体信息的局部特征和非文字媒体信息的局部特征，计算所述文字媒体信息和非文字媒体信息的局部相似度；

对所述全局相似度和所述局部相似度进行加权，根据相似度加权计算结果，得到所述待检索媒体信息的检索目标。

一种跨媒体检索装置，用于从跨媒体信息数据库中匹配跨媒体信息获得检索目标，所述装置包括：

检索信息获取模块，用于接收待检索媒体信息；所述待检索媒体信息和跨媒体信息其中之一的媒体类型为文字；所述跨媒体信息是与所述待检索媒体信息属于不同媒体类型的信息；

全局特征获取模块，用于通过已训练好的神经网络获取文字媒体信息的全局特征，以及非文字媒体信息的全局特征；所述文字媒体信息为所述待检索媒体信息和跨媒体信息中媒体类型为文字的信息；所述非文字媒体信息为所述待检索媒体信息和跨媒体信息中媒体类型为非文字的信息；

局部特征获取模块，用于获取所述非文字媒体信息的实体，根据所述实体得到非文字媒体的局部特征，并根据所述文字媒体信息的全局特征对预设类别词语增加权重，得到文字媒体信息的局部特征；