[发明专利]跨模态检索方法、装置、设备及计算机可读存储介质

权利要求书

1.一种跨模态检索方法，其特征在于，包括：

获取第一模态数据和待检索的第二模态数据；

将所述第一模态数据和所述第二模态数据输入训练好的跨模态检索网络；

通过所述跨模态检索网络提取所述第一模态数据的第一特征和所述第二模态数据的第二特征，根据所述第一特征和所述第二特征的匹配度输出检索结果；所述检索结果用于表征从所述第一模态数据中检索出的与所述第二模态数据匹配的数据；

其中，所述跨模态检索网络包括利用神经网络基于数据集中的原始数据和生成数据进行训练而来的网络；所述生成数据包括由生成式对抗网络中训练好的生成器基于所述原始数据生成的数据；所述生成器与所述生成式对抗网络中的判别器同时进行训练，用于将所述原始数据中属于第二模态的数据生成属于第一模态的数据。

2.如权利要求1所述的方法，其特征在于，所述第一模态数据包括文本数据；所述第二模态数据包括图像数据。

3.一种跨模态检索方法，其特征在于，包括：

基于数据集中的原始数据对生成式对抗网络中的生成器以及判别器进行训练；

通过训练好的生成器基于所述原始数据生成的生成数据；所述生成器用于对所述原始数据中属于第二模态的数据生成属于第一模态的数据；

利用神经网络基于所述原始数据和所述生成数据训练得到跨模态检索网络；其中，所述跨模态检索网络用于对输入的第一模态数据和待检索的第二模态数据进行特征提取，并输出检索结果；所述检索结果用于表征从所述第一模态数据中检索出的与所述第二模态数据匹配的数据。

4.如权利要求3所述的方法，其特征在于，所述基于数据集中的原始数据对生成式对抗网络中的生成器以及判别器进行训练，包括：

基于数据集中的原始数据，采用最大似然准则对生成式对抗网络中的生成器进行训练，基于所述生成器生成的数据采用三类判别损失函数对生成式对抗网络中的判别器进行训练；

将训练后的生成器通过强化学习策略进行训练，同时继续采用三类判别损失函数对生成式对抗网络中的判别器进行训练。

5.如权利要求3所述的方法，其特征在于，所述利用神经网络基于所述原始数据和所述生成数据训练得到跨模态检索网络，包括：

基于所述原始数据和所述生成数据，使用长短时记忆网络提取属于第一模态的数据的第一特征，使用深度神经网络提取属于第二模态的数据的第二特征，并采用线性变换映射到嵌入子空间中；

在所述嵌入子空间中计算每一对属于第一模态的数据和属于第二模态的数据的余弦相似度，并采用三元组损失函数对每一个输入批量进行训练，采用Adam优化算法进行训练，直到模型收敛，得到跨模态检索网络。

6.如权利要求3所述的方法，其特征在于，所述基于数据集中的原始数据，采用最大似然准则对生成式对抗网络中的生成器进行训练，包括：基于数据集中的原始数据，利用最大似然准则损失函数并采用Adam优化算法进行初始化训练；

所述将训练后的生成器通过强化学习策略进行训练，包括：引入强化学习策略和蒙特卡洛搜索技术，采用Adam优化算法对初始化训练后的生成器进行训练，直至收敛。

7.一种跨模态检索装置，其特征在于，包括：

数据获取单元，用于获取第一模态数据和待检索的第二模态数据；

数据输入单元，用于将所述第一模态数据和所述第二模态数据输入训练好的跨模态检索网络；

检索单元，用于通过所述跨模态检索网络提取所述第一模态数据的第一特征和所述第二模态数据的第二特征，根据所述第一特征和所述第二特征的匹配度输出检索结果；所述检索结果用于表征从所述第一模态数据中检索出的与所述第二模态数据匹配的数据；

其中，所述跨模态检索网络包括利用神经网络基于数据集中的原始数据和生成数据进行训练而来的网络；所述生成数据包括由生成式对抗网络中训练好的生成器基于所述原始数据生成的数据；所述生成器与所述生成式对抗网络中的判别器同时进行训练，用于将所述原始数据中属于第二模态的数据生成属于第一模态的数据。