[发明专利]一种用于图像-文本的跨模态检索方法

摘要

本发明公开了一种用于图像‑文本的跨模态检索方法，包括获取图文对数据集并构建跨模态图文检索初始模型；处理图文对数据集得到特征向量；获取特征向量在公共空间内的统一维度特征向量，进行标签分类并计算标签分类损失；对图文对数据集进行基于多负样本的加权采样并计算多负样本加权对比损失；通过优化器对跨模态图文检索初始模型进行优化得到跨模态图文检索模型；采用跨模态图文检索模型进行实际的图像‑文本的跨模态检索。本发明预先构建跨模态图文检索模型，将图像/文本特征向量投射到统一公共空间，引入多负样本采样和加权学习进行模型训练，并利用训练好的模型进行跨模态检索；因此本发明方法的检索准确度高、可靠性好且检索速度快。