[发明专利]基于交互输入的图像定位方法、装置、设备和存储介质

权利要求书

1.一种基于交互输入的图像定位方法，包括：

获取与图像对应的第一特征信息以及与交互输入对应的第二特征信息；

根据所述第一特征信息和所述第二特征信息，在所述图像中的对象中，对所述交互输入进行目标定位。

2.根据权利要求1所述的方法，其中，所述第一特征信息包括所述图像中的对象之间的语义特征信息。

3.根据权利要求2所述的方法，其中，获取与图像对应的第一特征信息，包括：

获取图像中的每个对象和至少一个其他对象之间的语义特征信息。

4.根据权利要求3所述的方法，其中，获取图像中的每个对象和至少一个其他对象之间的语义特征信息，包括：

基于图像中各对象的位置信息，获取图像中的每个对象和至少一个其他对象之间的语义特征信息。

5.根据权利要求3或4所述的方法，其中，获取图像中的每个对象和至少一个其他对象之间的语义特征信息，包括：

基于图像中的每个对象和至少一个其他对象确定至少一个候选区域；

获取所述候选区域内的对象的分类特征信息；

获取所述候选区域内的对象之间的区域语义特征信息；

基于所述分类特征信息和所述区域语义特征信息生成图像中的每个对象和至少一个其他对象之间的语义特征信息。

6.根据权利要求5所述的方法，其中，在生成图像中的每个对象和至少一个其他对象之间的语义特征信息之前，还包括：

基于所述分类特征信息和所述区域语义特征信息，对所述分类特征信息和所述区域语义特征信息进行联合修正。

7.根据权利要求5所述的方法，其中，在生成图像中的每个对象和至少一个其他对象之间的语义特征信息之前，还包括：

根据所述候选区域确定参考区域；

获取所述参考区域的区域特征信息；

基于所述分类特征信息、所述区域语义特征信息和所述区域特征信息，对所述分类特征信息、所述区域语义特征信息和所述区域特征信息进行联合修正。

8.根据权利要求5至7中任一项所述的方法，其中，所述候选区域包括所述对象中的一个和所述至少一个其他对象中的一个。

9.根据权利要求2至8中任一项所述的方法，其中，所述第一特征信息还包括下述至少一项：

与所述图像对应的全局视觉特征信息；

与所述图像中的各对象分别对应的视觉特征信息；

所述图像中的对象间的相对位置信息和/或相对尺寸特征信息。

10.根据权利要求9所述的方法，其中，在对所述交互输入进行目标定位之前，还包括：

将获取到的第一特征信息进行融合处理。

11.根据权利要求2至10中任一项所述的方法，还包括：

获取包括样本图像的训练数据；

基于所述样本图像中的每个对象和至少一个其他对象确定至少一个候选区域；

根据所述候选区域确定参考区域，并获取所述参考区域的区域特征信息；

根据所述区域特征信息生成区域标题；

基于带有所述区域标题作为监督的训练数据，对用于获取图像中的对象之间的语义特征信息的神经网络模型进行训练。

12.根据权利要求1至11中任一项所述的方法，其中，获取与交互输入对应的第二特征信息，包括：

将所述交互输入进行词向量转换；

基于所述词向量获取与所述交互输入对应的第二特征信息。

13.根据权利要求12所述的方法，还包括：

判断所述交互输入中的词语是否属于设定的第一词语；

将所述交互输入进行词向量转换，包括：

当所述交互输入中的词语属于设定的第一词语时，用与第二词语对应的词向量作为与所述第一词语对应的词向量。