[发明专利]一种图像区域定位的方法、模型训练的方法及相关装置

权利要求书

1.一种图像区域定位的方法，其特征在于，包括：

获取待定位图像中的图像候选区域集合，其中，所述图像候选区域集合中包括N个图像候选区域，所述N为大于或等于1的整数；

根据所述图像候选区域集合生成区域语义信息集合，其中，所述区域语义信息集合中包括N个区域语义信息，每个区域语义信息对应一个图像候选区域；

通过图卷积网络获取所述区域语义信息集合所对应的增强语义信息集合，其中，所述增强语义信息集合中包括N个增强语义信息，每个增强语义信息对应于一个区域语义信息，所述图卷积网络用于构建各个区域语义信息之间的关联关系；

获取待定位文本所对应的文本特征集合，其中，所述待定位文本包括T个词语，所述文本特征集合包括T个词语特征，每个词语对应于一个词语特征，所述T为大于或等于1的整数；

通过图像区域定位网络模型获取所述文本特征集合与所述每个增强语义信息的匹配度，其中，所述图像区域定位网络模型用于确定所述图像候选区域与所述待定位文本之间的匹配关系；

根据所述文本特征集合与所述每个增强语义信息的匹配度，从所述图像候选区域集合中确定目标图像候选区域。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像候选区域集合生成区域语义信息集合，包括：

通过卷积神经网络获取所述图像候选区域所对应的区域语义信息，其中，所述图像候选区域包括区域信息，所述区域信息包括所述图像候选区域在所述待定位图像中的位置信息，以及所述图像候选区域的尺寸信息；

当获取到N个图像候选区域所对应的区域语义信息时，根据所述N个区域语义信息生成所述区域语义信息集合。

3.根据权利要求1所述的方法，其特征在于，所述通过图卷积网络获取所述区域语义信息集合所对应的增强语义信息集合，包括：

从所述区域语义信息集合中获取第一区域语义信息以及第二区域语义信息，其中，所述第一区域语义信息为所述区域语义信息集合中任意一个区域语义信息，所述第二区域语义信息为所述区域语义信息集合中任意一个区域语义信息；

获取所述第一区域语义信息与所述第二区域语义信息之间的连接边强度；

对所述第一区域语义信息与所述第二区域语义信息之间的连接边强度进行归一化处理，得到归一化强度；

根据所述区域语义信息集合中各个区域语义信息之间的归一化强度，确定目标连接矩阵；

通过所述图卷积网络确定所述目标连接矩阵所对应的所述增强语义信息集合。

4.根据权利要求3所述的方法，其特征在于，所述根据所述区域语义信息集合中各个区域语义信息之间的归一化强度，确定目标连接矩阵，包括：

根据所述区域语义信息集合中各个区域语义信息之间的归一化强度，生成连接矩阵；

根据所述连接矩阵以及单位阵生成所述目标连接矩阵。

5.根据权利要求3或4所述的方法，其特征在于，所述通过所述图卷积网络确定所述目标连接矩阵所对应的所述增强语义信息集合，包括：

采用如下方式计算所述增强语义信息集合：

其中，所述表示第k层的图卷积网络对应的第i个增强语义信息，所述表示第(k-1)层的图卷积网络对应的第j个增强语义信息，所述表示所述第k层的图卷积网络的第一网络参数，所述表示所述第k层的图卷积网络的第二网络参数，所述j∈neighboring(i)表示第j个节点属于第i个节点的邻居节点，所述E_ij表示所述目标连接矩阵中元素。

6.根据权利要求1所述的方法，其特征在于，所述获取待定位文本所对应的文本特征集合，包括：

获取所述待定位文本；

根据所述待定位文本获取文本向量序列，其中，所述文本向量序列包括T个词向量，每个词向量对应于一个词语；

对所述文本向量序列中的每个词向量进行编码处理，得到文本特征；

当获取到T个词向量所对应的文本特征时，根据所述T个文本特征生成所述文本特征集合。