[发明专利]从图片中检测物体关系的方法、装置和设备

说明书

公开了从图片中检测物体关系的方法、装置和设备。根据一个实施方式，从图片中检测物体关系的方法包括：检测所述图片中的多个物体，获得每个物体的图片区域特征；对图片中检测到的物体进行配对，以获得候选主宾对，每个候选主宾对包括成对的主语物体的图片区域特征和宾语物体的图片区域特征；至少基于候选主宾对中的主语物体的图片区域特征和宾语物体的图片区域特征，获得关系谓语的图片特征；根据特征信息并依次经N个子神经网络检测所述多个物体的位置关系，并将所述第N个子神经网络的检测结果作为所述图片中物体关系的最终检测结果。

技术领域

本申请涉及图像识别技术，具体地，涉及从图片中检测物体关系的方法、装置和设备。

背景技术

识别图片中的物体和物体关系是图像识别中的一个重要方面。物体关系包括三个部分，即，(主语物体，关系谓语，宾语物体)，例如，(猫，吃，鱼)。物体关系的提取对理解图片的内容和含义具有重要作用。

现有的物体关系检测通常将(主语物体，关系谓语，宾语物体)当成一个整体处理，对不同的整体训练不同的模型。在实际场景中会遇到整体种类过多和冗余检测的问题。

发明内容

本申请实施例提出一种从图片中检测物体关系的技术方案。

根据本申请的第一方面，提出了一种从图片中检测物体关系的方法，所述方法包括：检测所述图片中的多个物体，获得每个物体的图片区域特征；对图片中检测到的物体进行配对，以获得候选主宾对，每个候选主宾对包括成对的主语物体的图片区域特征和宾语物体的图片区域特征；至少基于候选主宾对中的主语物体的图片区域特征和宾语物体的图片区域特征，生成关系谓语的图片特征；根据特征信息并依次经N个子神经网络检测所述多个物体的位置关系，并将所述第N个子神经网络的检测结果作为所述图片中物体关系的最终检测结果，其中：第1个子神经网络根据所述特征信息检测所述多个物体的位置关系；第n个子神经网络根据所述特征信息和第n-1个子神经网络的检测结果，再次检测所述多个物体的位置关系；N为大于1的整数，n为大于1且小于或等于N的整数；所述特征信息包括：所述主语物体的图片区域特征、所述宾语物体的图片区域特征和所述关系谓语的图片特征。

在示例性的实施方式中，经第一神经网络获取所述图片的所述特征信息。

在示例性的实施方式中，所述第一神经网络和N个子神经网络经包括有物体关系标注数据的训练图片集预先训练而得。

在示例性的实施方式中，所述图片区域特征至少包括表示所述物体的外形特征的信息。

在示例性的实施方式中，上述方法还包括：检测所述图片中的多个物体，获得每个物体的位置布局特征；其中，至少基于候选主宾对中的主语物体的图片区域特征和宾语物体的图片区域特征，生成关系谓语的图片特征，包括：基于候选主宾对中的主语物体的图片区域特征和宾语物体的图片区域特征、以及主语物体和宾语物体的所述位置布局特征，生成所述关系谓语的图片特征。

在示例性的实施方式中，所述位置布局特征包括指示主语物体和宾语物体在图片中的位置关系的信息。

在示例性的实施方式中，基于候选主宾对中的主语物体和宾语物体的图片区域特征、以及主语物体和宾语物体的位置布局特征，生成所述关系谓语的图片特征包括：将所述主语物体和宾语物体的图片区域特征、以及所述主语物体和宾语物体的位置布局特征整合，生成所述关系谓语的图片特征。

在示例性的实施方式中，所述整合包括直接组合或组合后压缩。