[发明专利]基于多模态信息交互的零样本视觉定位方法、装置及设备

说明书

本发明涉及本发明提供的一种基于多模态信息交互的零样本视觉定位方法、装置及设备，通过导入零样本视觉定位数据集，并对所述数据集中的数据进行预处理；获取查询语句文本，并基于预处理后的数据提取所述查询语句文本的文本特征；获取图像，并基于预处理后的数据提取所述图像的视觉特征和位置特征；将所述文本特征和所述视觉特征进行交互，得到多模态的交互特征；将所述位置特征和所述多模态的交互特征进行融合，得到多模态融合特征；根据所述多模态融合特征，分类回归并计算损失函数和准确率；解决了传统的视觉定位方式成本较高而零样本视觉定位精度低的技术问题，实现了更加精确、成本更低的进行视觉定位的技术效果，实现了更加精确、成本更低的进行视觉定位的技术效果。

技术领域

本发明涉及视觉定位技术领域，特别涉及一种基于多模态信息交互的零样本视觉定位方法、装置及设备。

背景技术

视觉定位是跨模态领域中的的基础任务，目的是找到图片中与查询语句相关的对象，它可以应用到其他许多跨模态任务当中，例如：视觉问答和图像检索，是跨模态领域学者和工作者的研究热点。目前视觉定位的方法可按照阶段分为传统的二阶段方法和最近出现的一阶段方法。二者的区别在于是否有提议框生成这个过程。二阶段方法在前一个阶段会先生成提议框，得到目标框的粗略的位置、大小、前景概率，在后一个阶段的匹配过程进行二次分类、回归得到更为精确的结果；而一阶段方法直接分类回归得到预测的目标框。二阶段方法更精确但更耗时，同时由于使用目标检测器作为预处理步骤来得到提议框和ROI池化特征会局限于检测器的类别中。这在零样本设置下是相当不利的，极有可能在定位新目标的过程中将其划分成背景类，并在模型中将这个错误传递下去。一阶段方法速度快但不如二阶段方法精确。

零样本定位是视觉定位在零样本设置下的扩展，旨在定义图片中与新的查询语句相关的目标，该目标不曾在训练集中出现。目前的零样本定位工作极少，存在着许多改进的空间。2019年，Arka Sadhu介绍了零样本定位(ZSG)的任务，概述了四个零样本定位的案例，以进行更精细的分析，还解决了以往系统的局限性，提出了一种简单而有效的ZSGNet体系结构。Arka Sadhu的工作是开创性的，他给我们指出了一个新的方向，然而，模型还有许多可改进的地方，视觉、文本特征的表示对视觉、文本信息的利用还不够，并且多模态特征之间缺少交互。

虽然通常传统的视觉定位的效果远远要好于零样本视觉定位的效果，但是在传统视觉任务中，训练阶段和测试阶段的类别是相同的，每次为了识别新类别的样本需要在训练集中加入这种类别的数据。一些类别的样本收集代价大，即使收集到足够的训练样本，也需要对整个模型进行重新训练，这都会加大识别系统的成本。

发明内容

基于此，有必要针对上述技术问题，提供一种定位精确、成本较低的基于多模态信息交互的零样本视觉定位方法、装置及设备。

本发明一实施例提供一种基于多模态信息交互的零样本视觉定位方法，所述方法包括：

导入零样本视觉定位数据集，并对所述数据集中的数据进行预处理；

获取查询语句文本，并基于预处理后的数据提取所述查询语句文本的文本特征；

获取图像，并基于预处理后的数据提取所述图像的视觉特征和位置特征；

将所述文本特征和所述视觉特征进行交互，得到多模态的交互特征；

将所述位置特征和所述多模态的交互特征进行融合，得到多模态融合特征；

根据所述多模态融合特征，分类回归并计算损失函数和准确率。

在一种实施方式中，所述对所述数据集中的数据进行预处理包括：

将所述数据集中的文本内容转换为张量的形式；

将所述数据集中的图像转换成张量的形式，并统一成相同尺寸大小。