[发明专利]一种跨模态哈希检索方法、终端设备及存储介质

说明书

本发明适用于跨模态哈希检索技术领域，提供了一种跨模态哈希检索方法、终端设备及存储介质，通过将由两个对称的生成式对抗网络组成的双向对抗网络模型引入到深度跨模态哈希检索过程中，用于优化跨模态检索任务中同义异构数据的信息丰富度不对称问题，并将模态间损失优化、模态内损失优化以及双向对抗网络优化过程整合到一个端到端算法模型框架中，同时还运用了在线哈希码热更新机制来实时更新真实图像哈希码和真实文本哈希码，能够实现特征学习过程和哈希学习过程的有机衔接与高效复用。

技术领域

本发明属于跨模态哈希检索技术领域，尤其涉及一种跨模态哈希检索方法、终端设备及存储介质。

背景技术

跨模态哈希检索方法是当前在多模态数据中实现快速有效检索的主流方法之一。使用深度神经网络来实现特征学习和哈希学习相结合的深度跨模态哈希检索方法也表现出比传统跨模态哈希检索方法更优良的性能。然而，深度神经网络的密集参数更新与哈希码的稀疏索引特性之间的相互背离，加剧了已有的同义异构多模态数据在原始空间与汉明空间的信息丰富度不对称的问题，对检索算法的稳定性与性能提升造成了很大的障碍。

发明内容

有鉴于此，本发明实施例提供了一种跨模态哈希检索方法、终端设备及存储介质，能够实现特征学习过程和哈希学习过程的有机衔接与高效复用。

本发明实施例的第一方面提供了一种跨模态哈希检索方法，包括：

通过深度神经网络生成真实图像数据的真实图像哈希码和真实文本数据的真实文本哈希码；

根据所述真实图像数据和所述真实文本数据之间的共有标签，获取相似性度量；

根据所述真实图像哈希码、所述真实文本哈希码以及所述相似性度量进行模态间损失优化和模态内损失优化，以更新所述深度神经网络的参数并生成公共哈希码；

将更新参数后的所述深度神经网络生成的新真实图像哈希码输入第一生成器，将所述真实文本哈希码输入第一鉴别器，根据所述第一鉴别器输出的第一鉴别结果更新所述第一生成器的网络参数；

将更新参数后的所述深度神经网络生成的新真实文本哈希码输入第二生成器，将所述真实图像哈希码输入第二鉴别器，根据所述第二鉴别器输出的第二鉴别结果更新所述第二生成器的网络参数。

本发明实施例的第二方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例的第一方面所述方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例的第一方面所述方法的步骤。

本发明实施例的第一方面所提供的跨模态哈希检索方法，通过深度神经网络生成真实图像数据的真实图像哈希码和真实文本数据的真实文本哈希码；根据真实图像数据和真实文本数据之间的共有标签，获取相似性度量；根据真实图像哈希码、真实文本哈希码以及相似性度量进行模态间损失优化和模态内损失优化，以更新神经网络的参数并生成公共哈希码；将更新参数后的神经网络生成的新真实图像哈希码输入第一生成器，将真实文本哈希码输入第一鉴别器，根据第一鉴别器输出的第一鉴别结果更新第一生成器的网络参数；将更新参数后的神经网络生成的新真实文本哈希码输入第二生成器，将真实图像哈希码输入第二鉴别器，根据第二鉴别器输出的第二鉴别结果更新第二生成器的网络参数，通过将由两个对称的生成式对抗网络组成的双向对抗网络模型引入到深度跨模态哈希检索过程中，用于优化跨模态检索任务中同义异构数据的信息丰富度不对称问题，并将模态间损失优化、模态内损失优化以及双向对抗网络优化过程整合到一个端到端算法模型框架中，同时还运用了在线哈希码热更新机制来实时更新真实图像哈希码和真实文本哈希码，能够实现特征学习过程和哈希学习过程的有机衔接与高效复用。

可以理解的是，上述第二方面和第三方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。