[发明专利]图像的描述语句定位方法及装置、电子设备和存储介质

权利要求书

1.一种图像的描述语句定位方法，其特征在于，包括：

对待分析描述语句与待分析图像进行分析处理，获得所述待分析描述语句的多个语句注意力权重以及所述待分析图像的多个图像注意力权重；

根据所述多个语句注意力权重以及待分析图像的主体特征、位置特征及关系特征，获得多个第一匹配得分，其中，所述待分析图像中包括多个对象，主体对象为所述多个对象中注意力权重最高的对象，所述主体特征为所述主体对象的特征，所述位置特征为所述多个对象的位置特征，所述关系特征为所述多个对象之间的关系特征；

根据所述多个第一匹配得分以及所述多个图像注意力权重，获得所述待分析描述语句与所述待分析图像之间的第二匹配得分；

根据所述第二匹配得分，确定所述待分析描述语句在所述待分析图像中的定位结果，

其中，所述多个第一匹配得分包括主语匹配得分、位置匹配得分及关系匹配得分，所述主语匹配得分用于评价所述待分析图像中的主体对象与所述待分析描述语句的对象描述之间的匹配程度，所述位置匹配得分用于评价所述待分析图像中多个对象的相对位置与所述待分析描述语句的位置描述之间的匹配程度，所述关系匹配得分用于评价所述待分析图像中多个对象的关联性与所述待分析描述语句的关联描述之间的匹配程度。

2.根据权利要求1所述的方法，其特征在于，对待分析描述语句与待分析图像分别进行分析处理，获得所述待分析描述语句的多个语句注意力权重以及所述待分析图像的多个图像注意力权重，包括：

对所述待分析图像进行特征提取，获得所述待分析图像的图像特征向量；

对所述待分析描述语句进行特征提取，获得所述待分析描述语句的多个分词的分词嵌入向量；

根据所述图像特征向量以及所述多个分词的分词嵌入向量，获得所述待分析描述语句的多个语句注意力权重以及所述待分析图像的多个图像注意力权重。

3.根据权利要求1所述的方法，其特征在于，还包括：通过神经网络获取所述待分析描述语句的多个语句注意力权重以及所述待分析图像的多个图像注意力权重。

4.根据权利要求3所述的方法，其特征在于，所述多个语句注意力权重包括语句主语权重、语句位置权重及语句关系权重，所述神经网络包括图像注意力网络，所述图像注意力网络包括主体网络、位置网络以及关系网络；

根据所述多个语句注意力权重以及待分析图像的主体特征、位置特征及关系特征，获得多个第一匹配得分，包括；

将所述语句主语权重及主体特征输入所述主体网络中处理，获得所述主语匹配得分；

将所述语句位置权重及位置特征输入所述位置网络中处理，获得所述位置匹配得分；

将所述语句关系权重及关系特征输入所述关系网络中处理，获得所述关系匹配得分。

5.根据权利要求4所述的方法，其特征在于，所述多个图像注意力权重包括主体对象权重、对象位置权重及对象关系权重，根据所述多个第一匹配得分以及所述多个图像注意力权重，获得所述待分析描述语句与所述待分析图像之间第二匹配得分，包括：

根据所述主体对象权重、所述对象位置权重及所述对象关系权重，对所述主语匹配得分、所述位置匹配得分及所述关系匹配得分进行加权平均，确定所述第二匹配得分。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述待分析图像输入特征提取网络中处理，获得所述主体特征、所述位置特征及所述关系特征。

7.根据权利要求1所述的方法，其特征在于，根据所述第二匹配得分，确定所述待分析描述语句在所述待分析图像中的定位结果，包括：

在所述第二匹配得分大于或等于预设阈值的情况下，将所述主体对象的图像区域确定为所述待分析描述语句的定位位置。