[发明专利]物体空间关系的识别方法、装置和训练方法、装置

权利要求书

1.一种物体空间关系的识别方法，包括：

获取图像中待确定空间关系的第一物体的名称、第二物体的名称、所述第一物体的坐标信息、所述第二物体的坐标信息、以及所述第一物体的深度信息和所述第二物体的深度信息；

根据所述第一物体的名称，所述第二物体的名称分别确定所述第一物体的第一语言特征和所述第二物体的第二语言特征；

根据所述第一语言特征、所述第二语言特征、所述第一物体的坐标信息、所述第二物体的坐标信息、以及所述第一物体的深度信息和所述第二物体的深度信息，确定所述第一物体和第二物体的空间关系。

2.根据权利要求1所述的识别方法，其中，所述确定所述第一物体和第二物体的空间关系包括：

预设所述第一物体与所述第二物体的多种空间关系描述信息；

针对每种空间关系描述信息，确定对应的预设空间关系语言特征，并将所述预设空间关系语言特征，所述第一语言特征、所述第二语言特征、所述第一物体的坐标信息、所述第二物体的坐标信息、以及所述第一物体的深度信息和所述第二物体的深度信息输入空间关系识别模型，确定所述第一物体与所述第二物体的空间关系表示为该空间关系描述信息的概率；

根据所述第一物体与所述第二物体的空间关系表示为每种空间关系描述信息的概率，确定所述第一物体和第二物体的空间关系。

3.根据权利要求2所述的识别方法，其中，所述确定所述第一物体与所述第二物体的空间关系表示为该空间关系描述信息的概率包括：

将所述预设空间关系语言特征，所述第一语言特征、所述第二语言特征、所述第一物体的坐标信息、所述第二物体的坐标信息、以及所述第一物体的深度信息和所述第二物体的深度信息输入所述空间关系识别模型中的融合网络，确定融合特征；

将所述融合特征输入所述空间关系识别模型中的分类器，输出所述第一物体与所述第二物体的空间关系表示为该空间关系描述信息的概率。

4.根据权利要求3所述的识别方法，其中，所述确定所述第一物体与所述第二物体的空间关系表示为该空间关系描述信息的概率包括：

将所述第一语言特征、所述第二语言特征和所述预设空间关系语言特征输入所述空间关系识别模型的第一融合网络进行融合，确定第一融合特征；

将所述第一物体的坐标信息、所述第二物体的坐标信息、所述第一物体的深度信息、所述第二物体的深度信息以及所述预设空间关系语言特征输入所述空间关系识别模型的第二融合网络进行融合，确定第二融合特征；

将所述第一融合特征和所述第二融合特征输入注意力机制网络进行融合，确定第一特征，作为所述融合特征；

将所述第一特征输入所述空间关系识别模型中的分类器，输出所述第一物体与所述第二物体的空间关系表示为该空间关系描述信息的概率。

5.根据权利要求3所述的识别方法，其中，所述确定所述第一物体与所述第二物体的空间关系表示为该空间关系描述信息的概率包括：

根据所述第一物体的坐标信息、所述第二物体的坐标信息、所述第一物体的深度信息、所述第二物体的深度信息，确定所述第一物体和所述第二物体的相对位移表示特征；

将所述第一语言特征、所述第二语言特征和所述预设空间关系语言特征输入所述空间关系识别模型的第一融合网络进行融合，确定第一融合特征；

将所述相对位移表示特征以及所述预设空间关系语言特征输入所述空间关系识别模型的第三融合网络进行融合，确定第三融合特征；

将所述第一融合特征和所述第三融合特征输入注意力机制网络进行融合，确定第二特征，作为所述融合特征；

将所述第二特征输入所述空间关系识别模型中的分类器，输出所述第一物体与所述第二物体的空间关系表示为该空间关系描述信息的概率。