[发明专利]视频全景拼接与三维融合方法及装置

权利要求书

1.一种视频全景拼接与三维融合方法，其特征在于，所述方法包括：

获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；

对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；

对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；

通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。

2.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理，包括：

根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；

对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。

3.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系，包括：

对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；

对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；

根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；

根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。

4.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像，包括：

根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；

根据所述摄像机的数量和视频画面分辨率，建立全景图像；

对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。

5.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示，包括：

确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；

根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。

6.一种视频全景拼接与三维融合装置，其特征在于，包括：

图像预处理模块，用于获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；

变换关系确定模块，用于对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；

全景图像生成模块，用于对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；

三维融合模块，用于通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。

7.根据权利要求6所述的视频全景拼接与三维融合装置，其特征在于，所述图像预处理模块包括：

图像降噪单元，用于根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；

图像灰度化单元，用于对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。