[发明专利]基于文本语义映射的跨模态数据检索系统及其检索方法

权利要求书

1.一种基于文本语义映射的跨模态数据检索系统，其特征在于：

该检索系统包括数据域、离线域、语义域以及在线域；

其中所述数据域包括文本数据集(100)和非文本数据集(110、120、130、140)，各数据集存储对应模态数据内容，用于与离线域中的处理、标注和训练提供原始数据支持；

所述离线域包括标签提取模块(101)、文本语义提取模块(102)、数据标注模块(111)、非文本语义模型训练模块；

所述标签提取模块(101)，用于对文本数据集(100)中样本数据进行处理，从中提取出应用领域内具有代表性语义的文本形式的标签集，以对非文本数据进行标注；

所述文本语义提取模块(102)，用于通过文本语义模型，对标签进行处理，将标签、标签集按照语义转换为固定长度的实数向量，作为对应标签、标签集在语义域(103)中的表示；

所述数据标注模块(111)，用于通过自动或人工方式，利用标签提取模块(101)生成的标签集中一个或多个标签描述非文本数据集(110、120、130、140)中数据的语义，并将数据对应标签、标签集通过文本语义提取模块(102)获得的语义向量记录为对应非文本数据的语义表示，以此获取非文本数据语义模型训练数据；

所述非文本语义模型训练模块(112、122、132、142)，用于利用数据标注模块(111)提供的训练数据，对相应模态的非文本模态语义模型(232)进行训练，使其能够将非文本数据转化为文本语义向量，从而将非本文数据语义映射至文本语义空间；

所述语义域包括文本语义空间(103)，用于数据内在含义的逻辑表示，在系统中具体为固定长度的实数向量，所述文本语义空间(103)通过文本数据构建，非文本数据通过相应模型映射至该文本语义空间，以实现跨模态数据相关度分析、处理与计算；

所述在线预包括文本语义提取模块(104)、非文本语义提取模块(114、124、134、144)、查询表达模块(145)、相关度计算模块(135)、和相关度排序模块(125)。

所述文本语义提取模块(104)和非文本语义提取模块(114、124、134、144)，一方面用于将对应模态的查询请求转换为语义空间中文本语义向量表示，另一方面用于将待检索的数据内容转换为语义空间中的本文语义向量表示。

所述查询表达模块(145)，用于将表示查询请求语义向量、表示待检索数据内容的语义向量集合以及其他查询约束条件整合后提供给相关度计算模块(135)处理。

所述相关度计算模块(135)，用于按照查询约束条件要求，分别计算待检索数据语义向量与查询请求语义向量的相关度。

所述相关排序模块(125)，用于按照待检索数据语义向量与查询请求语义向量的相关度高低，对待检索数据进行排序，并按照查询约束条件，返回相似度最高的若干项数据。

2.根据权利要求1所述的跨模态数据检索系统，其特征在于：

所述非文本数据集(110、120、130、140)包括图片数据集(110)、音频数据集(120)、视频数据集(130)以及其他模态数据集(140)。

3.根据权利要求2所述的跨模态数据检索系统，其特征在于：

所述非文本语义模型训练模块包括图片语义模型训练模块(112)、音频语义模型训练模块(122)、视频语义模型训练模块(132)以及其他语义模式训练模块(142)。

4.根据权利要求3所述的跨模态数据检索系统，其特征在于：

所述非文本语义模型训练模块对相应模态的非文本模态语义模型(232)进行训练，具体为：非文本语义模型训练模块按照所处理的数据类型选取对应的端到端深度神经网络模型，将该类型数据序列化后得到的多维实数向量作为模型输入，将数据对应标签序列化后得到的多维实数向量作为模型输出，对上述端到端深度神经网络模型进行迭代训练与优化，获得对应模态的非文本语义模型，基于该模型实现非文本数据到文本语义空间的映射。

5.根据权利要求3所述的跨模态数据检索系统，其特征在于：

所述非文本语义提取模块，包括图片提取模块(104)、音频提取模块(114)、视频提取模块(124)和其他语义提取模块(134)。