[发明专利]一种基于场景图高阶语义结构的视觉关系检测方法及装置

说明书

本发明提出一种基于场景图高阶语义结构的视觉关系检测方法及装置，算法包括预测图片中所有物体的类别和位置，输出每个物体所对应的视觉特征向量，对检测出的所有物体中的每两个进行配对操作，基于配对结果，提取联合视觉特征向量，对位置进行编码得到位置编码；将所述所有物体的类别输入层级语义聚类算法，经过处理得到每个物体对应的高层语义特征向量；对所述层级语义聚类算法的输出进行语义编码；生成关系分类器权重；将所述视觉特征向量、所述联合视觉特征向量和所述位置编码合并为统一的特征向量，利用所述关系分类器权重对所述统一的特征向量进行点乘操作，最终得到每两个物体之间的关系条件概率，作为场景图。

技术领域

本发明涉及图像处理领域，特别是一种基于场景图高阶语义结构的视觉关系检测方法及装置。

背景技术

视觉关系检测任务的主要目标是对图像中存在的视觉三元关系(主语，关系，宾语)的内容进行识别和定位。识别指识别目标物体的类别属性，定位是将目标物体的边界框回归出来。理解视觉场景通常不仅仅在于识别单个物体，即使是完美的物体检测器，也很难感知到喂马的人与站在马旁边的人之间的细微差别。学习这些物体之间丰富的语义关系是视觉关系检测的意义所在。更深入地了解视觉场景的关键则是在识别物体的基础上，根据场景构建一种结构化的表示形式，以捕获物体及其语义关系。这样的表征不仅为基础识别任务提供了上下文信息，而且还对各种高级视觉任务有极大的价值。这种结构化的表达被称为场景图。场景图提供了一个显式建模物体及其关系的表达。简而言之，场景图是图像物体的视觉定位图，其中边的连接描绘了它们的成对关系。

视觉关系检测在很多领域都是底层核心算法，有着广泛的应用，例如，在图像检索领域它使得检索算法可以更好的理解所输入的文本和图像之间的关系，从而改善检索效果；在自动驾驶领域，它可以给予自动驾驶汽车提出当前场景的结构，以帮助自动驾驶汽车安全行驶。

检测图像中的视觉关系是一项艰巨的任务，困难主要来自两方面：(1)难以获得正确种类和数量的标注以及完整的三元组标注；(2)在视觉外观和语言描述方面，关系存在极大的可变性。首先获取物体边界框级别的标注是非常困难的。检测图像中的视觉关系需要通过在图像中相应的视觉实体周围确定边界框来定位交互作用中的主语和宾语。因此，对于全监督模型而言，理想的训练数据是有框级别标注的视觉关系的图像，即在物体周围绘制边界框，并且每对交互物体都用描述性三元组标记。然而，获得这样的注释是非常昂贵的。

难以获取标注的另一个原因是视觉关系的组合性质所导致的三元组合爆炸。对于N个不同的物体类别和K个不同的关系的词汇表，可能的关系数为N×N×K，例如，对于N＝100，可能存在着一百万个可能的三元组。由于这些三元组中的大多数在现实世界中很少见或看不见，因此训练数据本身总是呈现长尾分布，即标注集中在很少的关系上，而词汇表中的大多数三元组则只有很少的或没有训练数据。长尾分布不是由标注的质量好坏导致的，而在自然状况下采集的数据的分布通常都是呈现相同的长尾分布。在长尾分布的数据集上训练算法，往往会出现过拟合的现象，即算法会主要关注数据量集中的头部类别上，而尾部的类别的学习会被忽略掉。因此，将视觉关系检测器应用到大量的三元组上是一个重大挑战。但是从工业需求上看，对于长尾数据上的算法研究，可以极大地降低标注成本，提升数据采集的效率。

早期视觉关系识别的方法是将关系三元组作为一个整体去学习，即为每种关系三元组类别训练独立的检测器。但这种方法只适用于关系三元组较少，且每个三元组的标注数据较多的小型数据集。这种情况下，视觉关系检测任务则非常类似于目标检测任务，只是此时的检测对象由单个的物体变为两个物体及其之间的关系。然而，随着数据集的发展，视觉关系数据集不再定义在预设好的关系三元组上，而是开放的词汇表，这样可能的三元组数量非常庞大，并且大多数三元组都没有足够的标注数据。在这种情况下，训练一个以三元组为单位的检测器是无法实现的，因此这促进了组合模型的发展，即不再为每一个视觉关系三元组都单独检测，检测目标变为可以在多个视觉关系三元组之间共享的更简单的视觉单元。这种观点的改变受到自然语言结构的启发，在自然语言描述中，视觉关系以三元组的组成形式表示，而每个组成部分可以独立地被观察到，也可以作为不同视觉交互的一部分被观察到。