[发明专利]一种基于场景结构分析的城市监控视频融合方法

摘要

本发明提供一种基于场景结构分析的城市监控视频融合方法，针对固定摄像头进行的配准过程，包括首先进行监控场景结构分析过程，然后基于场景结构特征分析结果，寻找三维模型纹理与实时视频场景中典型结构的匹配关系和摄像头内外参数，确定相应图像配准信息，实现固定摄像机实时监控视频的融合显示；针对可控摄像头进行的配准过程，包括建立动态全景索引图并记录配准参考点信息，在实时匹配过程中根据动态全景索引图快速查找配准参考点，获取正确的配准信息，从而实现可控摄像机实时监控视频的融合显示。本发明通过场景结构保证视频配准融合的准确性和鲁棒性；同时通过动态全景图快速找到配准参考点，实现实时监控视频的融合。

主权项

1.一种基于场景结构分析的城市监控视频融合方法，其特征在于：根据摄像头类型进行相应配准过程，摄像头类型包括固定摄像头和可控摄像头，所述固定摄像头的位置和焦距都固定，针对固定摄像头进行的配准过程，包括首先进行监控场景结构分析过程，然后基于场景结构特征分析结果，寻找三维模型纹理与实时视频场景中典型结构的匹配关系和摄像头内外参数，确定相应图像配准信息，实现固定摄像机实时监控视频的融合显示；其中，所述监控场景结构分析过程包括以下步骤，步骤1.1，场景视觉修正，包括采用视频曝光度校正和视频颜色校正方法，对三维模型纹理图像和实时视频图像分别进行视觉修正；步骤1.2，低层场景结构特征提取与修补，包括对三维模型纹理图像和实时视频图像，分别基于特征检测方法和图像变换方法初步提取低层场景结构特征，通过特征聚类与合并处理，修补和优化低层场景结构特征信息；所谓低层结构特征为简单结构特征，包括点、线或面；步骤1.3，场景分类信息提取，包括针对实际监控视频场景，查询预先建立的城市典型监控场景结构分析数据库，获取场景分类相关信息，包括当前监控场景所属的场景类别，以及当前监控场景所属的类别场景所包含的典型场景结构；步骤1.4，高层场景结构特征提取，包括对三维模型纹理图像和实时视频图像，分别结合场景分类相关信息，确定当前监控场景应该提取的高层场景结构特征信息，提取相应的高层场景结构特征，并通过位置关联性分析，建立低层结构特征与高层结构特征的从属与关联关系；所谓高层结构特征指组成监控场景的场景结构元素，包括宏观物体或建筑；所述寻找三维模型纹理与实时视频场景中典型结构的匹配关系和摄像头内外参数，确定相应图像配准信息，实现方式如下，步骤2.1，关键场景结构选择，包括对三维模型纹理图像和实时视频图像，分别从场景结构特征分析结构中选择在监控场景中占主体部分的高层场景结构作为候选关键场景结构；步骤2.2，场景结构匹配，包括对三维模型纹理图像和实时视频图像，分别从候选关键场景结构中选择若干低层场景结构，根据2D‑3D坐标配对信息，计算出若干投影矩阵和畸变参数实现投影参数估计，并对多组参数进行加权平均实现投影参数加权与优化，形成相应图像配准信息；所述可控摄像头的位置和焦距能够调整，可控摄像头的位置调整为水平转动或垂直转动，针对可控摄像头进行的配准过程，包括建立动态全景索引图并记录配准参考点信息，在实时匹配过程中根据动态全景索引图快速查找配准参考点，获取正确的配准信息，从而实现可控摄像机实时监控视频的融合显示；其中，所述构建动态全景索引图实现方式为，对摄像头水平/垂直范围等分为n个区间，获得n+1个摄像头可能所处的水平/垂直位置sj，j∈{0,1,2...,n}；对摄像头的水平/垂直转动速度等分为m个区间，获得m+1个摄像头水平/垂直转动速度vi，i∈{0,1,2...m}；对摄像头变焦范围进行r等分，获得r+1个可能的摄像头焦距fl，l∈{0,1,2...,r}；进行以下步骤，1)初始化l＝0，i＝0，驱动可控摄像机从各起始位置sj分别转动到最大运动范围，j∈{0,1,2...,n}，在各转动过程中分别进行以下操作，记录经过每一个参考位置sk时的时间t和实时视频图像，k∈{j+1,j+2...,n}，然后运用对固定摄像头进行的配准过程，计算每一个参考位置sk时的图像配准信息，形成全过程的配准参考点信息(sj→sk,tk,vi,fl,camParamk,Pick)，其中tk表示摄像头以水平/垂直转动角速度从位置sj到达位置sk所需的时间，camParamk表示此位置sk的图像配准信息，Pick则表示此时的实时视频图像信息；最后将所有配准参考点对应的视频图像按照顺序进行拼接，构成一幅全景图；2)判断是否l＝r，若否则令i＝i+1，采用下一速度vi，返回步骤1)，若是则记录下可控摄像头在不同运动速度下的配准参考点信息及构建的全景图，进入3)；3)判断是否i＝m，若否则令l＝l+1，采用下一焦距fl，返回步骤1)、2)，是则记录下可控摄像头不同焦距模式下的动态配准参考点信息及相应的全景图，从而得到焦距fl和水平/垂直转动速度v为索引的动态全景索引图。