[发明专利]一种基于多分辨率的多视点视频拼接融合算法

说明书

技术领域

本发明涉及多视点视频拼接和融合领域，具体涉及一种基于多分辨率 的多视点视频拼接融合算法。

背景技术

基于多视点视频图像绘制的虚拟现实技术是目前虚拟现实研究中非 常活跃的研究课题，而多视点视频全景图的生成则是其中重要的应用领域 之一。

多视点视频全景图是通过将多幅不同视点的视频场景图像进行拼接 和融合来实现的。目前常见的拼接和融合算法有：相位相关度算法、特征 无关的方法和基于特征的方法，但是各算法都存在一定的局限性，且对拼 接和融合用的图像质量一般要求比较高，而对于用普通数码相机在不受限 制的条件下拍摄到的图像的拼接和融合效果则不尽理想。

相位相关度算法对于理想的两幅相邻图像，即对于不存在明显曝光差 异和边缘扭曲的图像的处理效果很好，但是对于存在上述质量问题的图像 却很难达到预期的效果。

特征无关的方法首先在相邻帧间进行纹理特征跟踪，进而求摄像机焦 距和帧间偏移距离。该算法虽能取得较好的精度，但是纹理特征的检测和 跟踪却带来了巨大的计算量。

基于特征的方法采用有8个未知参数的矩阵来描述两幅图像之间的颜 色变换关系，并用最小化算法来估计该矩阵。该算法由于采用了迭代的方 式解非线性方程组，所以对迭代初始值特别敏感，而且能否得到解还要完 全依赖于迭代初始值。另外，如果两幅图像的曝光条件差得比较远，那么 该算法的拼接和融合效果就不甚理想。对于存在上下位移的两幅图像，则 可能得不到预期的拼接和融合效果。

发明内容

本发明提供了一种基于多分辨率的多视点视频拼接融合算法，通过降 低分辨率来加速拼接和融合过程，并综合考虑颜色和梯度信息，实现多视 点视频的快速高质量拼接融合。

一种基于多分辨率的多视点视频拼接融合算法，包括：

步骤1，每个视点的视频包括多个时刻的视频图像，将同一时刻不同 视点的多帧视频图像映射到同一基准柱面上；

步骤2，对映射后得到的同一时刻相邻的两幅视频图像进行拼接；

步骤3，对同一时刻相邻两幅视频图像拼接后的重叠部分进行亮度均 衡，完成多视点视频的融合。

多视点视频是从多个角度拍摄同一场景或物体，进行多视点视频拼接 时，首先将同一时刻的视频图像进行拼接和融合，然后将不同时刻的融合 结果连续起来，即得到全景视频。

本发明中，通过步骤1将同一时刻不同视点的多帧视频图像投影到同 一个基准柱面上，然后对同一基准柱面上的视频图像进行拼接和融合。

拼接和融合针对的都是相邻视频图像，拼接将两相邻视频图像进行平 移，使相同部分重叠，融合对重叠部分进行亮度调整，消除拼接的痕迹。

为了加快算法的速度，优选地，步骤2中，依次在低分辨率和原始分 辨率下，对同一时刻相邻的两幅视频图像进行拼接。

本发明中首先采用低分辨率算法对同一时刻相邻的视频图像进行粗 匹配，大大降低算法的复杂度，然后在粗匹配完成后，进一步进行精确匹 配，保证拼接的效果。

本发明中由于首先使用低分辨率图像进行拼接，因此，降低了对多视 点视频图像的质量要求，降低了对多视点拍摄时的相机的性能要求，节省 了花费在视频采集设备的成本。

作为优选，步骤2中，采用Canny算子计算原始图像的边缘图像，并利 用小波变换得到低分辨率图像，对低分辨率图像进行拼接。低分辨率图像 拼接完成后，以低分辨率下的平移参数为初始条件，进一步进行原始分辨 率图像的拼接。

作为优选，低分辨率图像拼接时的平移参数D_L的计算公式如下：