[发明专利]跨媒体检索方法、装置、计算机设备和存储介质

权利要求书

1.一种跨媒体检索方法，用于从跨媒体信息数据库中匹配跨媒体信息获得检索目标，所述方法包括：

接收待检索媒体信息；所述跨媒体信息是与所述待检索媒体信息属于不同媒体类型的信息；所述待检索媒体信息和跨媒体信息其中之一的媒体类型为文字；

通过已训练好的神经网络获取文字媒体信息的全局特征，以及非文字媒体信息的全局特征；所述文字媒体信息为所述待检索媒体信息和跨媒体信息中媒体类型为文字的信息；所述非文字媒体信息为所述待检索媒体信息和跨媒体信息中媒体类型为非文字的信息；

获取所述非文字媒体信息的实体，根据所述实体得到非文字媒体信息的局部特征，并根据所述文字媒体信息的全局特征对预设类别词语增加权重，得到文字媒体信息的局部特征；

根据所述文字媒体信息的全局特征和非文字媒体信息的全局特征，计算所述文字媒体信息和非文字媒体信息的全局相似度；

根据所述文字媒体信息的局部特征和非文字媒体信息的局部特征，计算所述文字媒体信息和非文字媒体信息的局部相似度；

对所述全局相似度和所述局部相似度进行加权，根据相似度加权计算结果，得到所述待检索媒体信息的检索目标。

2.根据权利要求1所述的方法，其特征在于，所述局部特征包括实体特征，获取所述非文字媒体信息的实体，根据所述实体得到非文字媒体信息的局部特征，并根据所述文字媒体信息的全局特征对预设类别词语增加权重，得到文字媒体信息的局部特征，包括：

利用已训练好的实体提取模型，对所述非文字媒体信息进行目标检测，提取所述非文字媒体信息中的实体，得到非文字媒体信息的实体特征；

根据所述文字媒体信息的全局特征，对所述文字媒体信息中的实体词的词向量增加权重，得到所述文字媒体信息的实体特征。

3.根据权利要求1所述的方法，其特征在于，所述局部特征包括关系特征，获取所述非文字媒体信息的实体，根据所述实体得到非文字媒体信息的局部特征，并根据所述文字媒体信息的全局特征对预设类别词语增加权重，得到文字媒体信息的局部特征，包括：

利用已训练好的实体提取模型，对所述非文字媒体信息进行目标检测，提取所述非文字媒体信息中的实体，并对提取的实体进行组合，得到非文字媒体信息的关系特征；

根据所述文字媒体信息的全局特征，对所述文字媒体信息中的关系词的词向量增加权重，得到文字媒体的关系特征。

4.根据权利要求1所述的方法，其特征在于，所述局部特征包括实体特征和关系特征；获取所述非文字媒体信息的实体，根据所述实体得到非文字媒体信息的局部特征，并根据所述文字媒体信息的全局特征对预设类别词语增加权重，得到文字媒体信息的局部特征，包括：

利用已训练好的实体提取模型，对所述非文字媒体信息进行目标检测，提取所述非文字媒体信息中的实体，得到所述非文字媒体信息的实体特征；

对提取的实体进行组合，得到所述非文字媒体信息的关系特征；

根据所述文字媒体信息的全局特征，对所述文字媒体信息中的实体词的词向量增加权重，得到文字媒体信息的实体特征；

根据所述文字媒体信息的全局特征，对所述文字媒体中的关系词的词向量增加权重，得到文字媒体的关系特征；

所述根据所述文字媒体信息的局部特征和非文字媒体信息的局部特征，计算所述文字媒体信息和非文字媒体信息的局部相似度，包括：

根据所述文字媒体信息的实体特征和非文字媒体信息的实体特征，计算所述文字媒体信息和非文字媒体信息的实体相似度；

根据所述文字媒体信息的实体特征和非文字媒体信息的关系特征，计算所述文字媒体信息和非文字媒体信息的关系相似度；所述局部相似度包括实体相似度和关系相似度。

5.根据权利要求1所述的方法，其特征在于，用于文字媒体信息的全局特征提取的神经网络与用于非文字媒体信息的全局特征提取的神经网络共享全连层；

根据所述文字媒体信息的全局特征和非文字媒体信息的全局特征，计算文字媒体信息和非文字媒体信息的全局相似度，包括：

通过所述全连接层实现所述文字媒体信息的全局特征和非文字媒体信息的全局特征的特征融合，生成子空间；

根据所述子空间中所述文字媒体信息和非文字媒体信息的距离，得到所述文字媒体信息和非文字媒体信息的全局相似度。