[发明专利]一种全时空立体可视化方法

摘要

本发明提供了一种全时空立体可视化方法，包括将摄像机采集的实时视频数据进行封包格式转换；将实时的固定角度视频数据拼接融合到3D GIS空间数据中，形成全景立体视频；以全景立体视频中的事件目标为驱动，实现摄像机协同追视；根据上述封包格式转换结果，在存储装置中保存实时视频数据，形成历史视频数据，将其中的固定角度视频数据拼接融合到3D GIS空间数据中，实现历史视频的全时空立体可视化展示。此外，为了在整体场景下进行视频智能分析以及实现多维数据融合和立体可视化展示，本发明还提出了全场景视频智能分析方法和多类型数据全时空立体可视化方法。本发明为宏观指挥监测、整体关联、综合调度提供有效手段，适用性强。

主权项

一种监控视频全时空立体拼接融合方法，包括以下步骤：步骤1)、将摄像机采集的实时视频数据进行封包格式转换，所述实时视频数据包括枪式摄像机和/或球型摄像机在预置位采集的固定角度视频数据，还包括球型摄像机采集的非固定角度视频数据；步骤2)、将实时采集的固定角度视频数据拼接融合到3DGIS空间数据中，形成全景立体视频，实现实时的全时空立体可视化展示；步骤3)、根据步骤1)预处理的非固定角度视频数据和步骤2)形成的全景立体视频，通过以全景监控中的事件目标为驱动，实现摄像机协同追视，即在全景立体视频或3DGIS空间数据中点击观测目标或位置，其周边的多个摄像机将被调用以锁定该区域；步骤4)、根据步骤1)的封包格式转换结果，在存储装置中保存实时视频数据，形成历史视频数据；步骤5)、将步骤4)形成的历史视频数据中的固定角度视频数据拼接融合到3DGIS空间数据中，实现历史视频的全时空立体可视化展示，以对历史视频数据进行全景还原回溯，所述步骤2)具体包括前景目标检测、三维重建融合、视频图像归一化和全时空立体可视化展示，其中前景目标检测包括：A.多层次前景背景建模背景建模是前景目标提取的一个重要环节，基本思想是从当前帧中提取前景，其目的是使背景更接近当前视频帧的背景，利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景，采用多层次高斯混合模型，用于实时的、鲁棒的检测各种速度的目标，利用多层次混合高斯模型来抽取背景的方法鲁棒地克服光线、树枝摇动等造成的影响，而且可以克服运动物体长期静止时的失效状况；B.运动阴影抑制、噪音消除和缺失补偿运动阴影常被误划为目标，造成错误的目标分割和跟踪，系统综合考虑颜色信息和纹理信息，利用阴影的颜色、空间和纹理属性确定其造成的形变，通过使用颜色形变补偿和纹理校正进行阴影抑制；对于目标检测中产生的噪音和小部分目标缺失，基于数学形态学的图像处理快速进行噪音滤除和缺失补偿；三维重建融合是将采集的二维视频信息实时动态的映射到三维场景模型上，通过三维虚拟观测，从而实现对真实场景多角度全方位的实时立体监控，具体地，首先检测出二维视频和三维场景模型的特征点，实时拼接融合就是要选用自动准确的计算算法实现实时图像配准；在基于特征的图像配准中，采用特征描述符用来对两幅图像的特征进行相似性度量，合适的特征描述符对于建立图像之间的配准映射关系和提高配准精度具有重要意义；为了适应图像的尺度变化，提高配准算法的精度，引入多尺度匹配算法；然后通过自动或半监督的特征匹配，反算从三维场景模型到二维视频的投影变化矩阵以及精确三维物理相机参数；在三维场景中虚拟出投影相机，再将视频动态投射到场景的表面从而完成时空的融合；通过对视频数据分析，检测分离出前景目标；借用相机参数，目标的像素坐标可以转化成三维位置信息，从而能在三维位置上对动态目标实施实时动态三维建模；在融合过程中，背景信息只需投影在静态的三维场景模型上，而前景目标投影在三维动态重建的目标模型上，即实现无形变、不失真的全时空融合；所述视频图像归一化具体分以下两个步骤：A.视频色彩校准将Macbeth彩色影像板放置在监控区域内，对每个摄像机的标定进行增益和偏移，最大限度地减少对比度和黑度，并确保线性响应和白场景的平衡；B.视频的色彩传递归一化目标是一致的色彩反应，而不是绝对的色彩精确度，因此，无需将每个摄像机视频匹配成标准色彩，而是通过色彩传递对摄像视频进行两两色彩匹配；具体的说，是将一幅视频图像的颜色特征传递给另一幅视频图像，使目标图像具有与源图像相似的色彩。