[发明专利]一种基于对象属性关系图的视频描述方法

说明书

本发明公开了一种基于对象属性关系图的视频描述方法，该方法将给定长视频划分为在内容上基本一致的视频段，然后基于每一视频段对该段视频内容进行分析，提取出视频场景中的关键对象，此处提取的关键对象为包含关键对象的矩形框；将提取出来的每一关键对象作为表示该视频段所对应对象属性关系图的结点，通过对每一关键对象进行空间和时间上的特征分析来对其进行属性描述，并作为结点属性；将获取的关键对象之间的相对位置关系作为该视频段所对应对象属性关系图中两个结点之间的连接边，并以此将两关键对象之间相对方向、距离、相对位置关系在时间上的变化作为边属性。该方法实现了一定时间内复杂视频内容的有效并精炼的表示，且具有很好的扩展性。

技术领域

本发明涉及图像处理领域，特别涉及一直基于对象属性关系图的视频描述方法。

背景技术

当前，遍布于城市各个角落的视频摄像头构成了庞大的视觉感知网络，为城市安防系统提供了重要数据来源。在这种背景下，对基于内容的视频检索、目标定位和跟踪、目标行为分析等应用的需求大大增加。通过构建计算机程序自动地进行视频分析，提取场景内容中的“兴趣”对象的特征及其运动轨迹，并对视频进行语义内容描述，构建视觉场景的内容摘要，是计算机视觉感知网络实现感知的迫切需求，也将为安防系统中基于关键对象的检索、定位、行为分析等提供新的表示方法和高效的技术手段。

对视频内容分析的研究通常使用某种方法提取视频的主要信息来表征视频内容。目前的研究主要通过提取视频的空间和时间特征来描述视频内容，如对视频每帧图像提取颜色、纹理等空间特征，对视频连续帧提取HOF(光流直方图)、运动特征等。这些低级特征通常通过词袋模型进行描述。该模型通过将图像特征聚类成固定维度的视觉单词本，并以图像特征在视觉单词本中出现的频率来描述视频内容。词袋模型被广泛应用于图像视频分类和人类行为识别等计算机视觉任务中，但由于该模型没有考虑视频特征之间的空间-时间关系，其对视频内容的描述仍然停留在较低级表征水平。

近年来，深度学习技术在计算机视觉任务上的成功使得通过深度卷积神经网络模型提取视频的高级语义特征成为可能，并表现出了较好的性能。如Du Tran和VigneshRamanathan等人使用3D卷积神经网络提取视频特征，在视频分析、行为识别等方面表现出了很好的性能。然而基于深度学习的特征描述方法需要大量的标注数据，且提取的特征仍旧停留初级视觉层面，不具有语义感知信息。

发明内容

针对现有技术存在的上述问题，本发明的目的是提出一种基于对象图的视频语义内容表示方法，该方法通过利用对象属性关系图的方法对视频语义级的内容进行有效的表示。

为实现上述目的，本发明采用如下技术方案：一种基于对象属性关系图的视频描述方法，将给定长视频划分为在内容上基本一致的视频段，然后基于每一视频段对该段视频内容进行分析，提取出视频场景中的关键对象，此处提取的关键对象为包含关键对象的矩形框；

此时，将提取出来的每一关键对象作为表示该视频段所对应对象属性关系图的结点，通过对每一关键对象进行空间和时间上的特征分析来对其进行属性描述，并作为结点属性；

将获取的关键对象之间的相对位置关系作为该视频段所对应对象属性关系图中两个结点之间的连接边，并以此将两关键对象之间相对方向、距离、相对位置关系在时间上的变化作为边属性。

作为改进，使用在Microsoft COCO数据集上训练的Faster R-CNN模型来对每一视频段内容进行分析，检测提取获得关键对象。

作为改进，所述结点属性是关键对象的特征，选择提取关键对象轮廓特征和关键对象表观特征作为关键对象的空间特征；并通过目标跟踪得到关键对象运动轨迹特征，以此共同描述关键对象的属性。

作为改进，所述关键对象轮廓特征是根据Serge Belongie经典形状上下文方法得到的。

作为改进，所述关键对象表观特征由Microsoft COCO数据集上训练的Faster R-CNN模型中得到。