[发明专利]多目相机的图像配准和拼接方法及其装置

说明书

本发明涉及数字图像处理技术领域，公开了一种多目相机的图像配准和拼接方法及其装置。本发明中的多目相机包括至少两个摄像头，该配准方法包括以下步骤：获取多个在时域上连续的同步图像组；提取同步图像组中同步图像的特征点，并计算同步图像的深度值；根据深度值自适应将同步图像的特征点划分到不同的特征点平面；将划分到同一特征点平面的特征点进行匹配得到特征点平面的匹配特征点并根据其建立特征点平面的映射矩阵；基于多个特征点平面对应的多维映射矩阵生成配准参数。本发明通过根据深度信息自适应分类特征点可建立多维映射矩阵，使多目视频图像的配准更加准确，克服了单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种多目相机的图像配准和拼接技术。

背景技术

目前主要的图像配准拼接技术的介绍如下：

1)单平面配准

图像配准是指对同一场景从不同的角度，相同或或者不同的传感器拍摄的两幅有重叠区域的图像进行处理的过程。它从几何上校准参考图像和待配准的图像。两幅图像的差异主要是来自不同的成像条件，图像配准也称为图像匹配。图像配准的数学描述可定义成待配准的图像之间的空间变换和灰度变换。要求待配准的图像之间一有部分逻辑上是相同的。

现有单平面配准方法所建立的特征点映射矩阵不能解决特征点一对多的映射问题。比如基于地面的配准建立的单平面映射矩阵，在有较高的运动目标出现在重叠区域时，会出现拼接不对齐现象，原因就是缺少深度信息导致。

2)图像拼接

图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接，如果不经过图像预处理，很容易造成一些误匹配。图像预处理主要是为下一步图像配准做准备，让图像质量能够满足图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况，一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息，将图像对齐。图像融合指在完成图像匹配以后，对图像进行缝合，并对缝合的边界进行平滑处理，让缝合自然过渡。

按照传统图像拼接方法对视频进行拼接，计算复杂度高，难以达到对视频进行实时拼接。

3)基于单一平面的深度信息校正和深度补偿

在现有基于深度信息的校正和补偿技术中，通过深度估计计算后，统计深度信息，然后根据深度信息对图像进行校正和补偿。这种方法不能解决相机成像部分畸变的配准情况。这是用单一深度估计信息校正带来的问题，难以达到无缝的效果。

综上所述，目前的图像配准拼接技术中，主要采用单平面配准方法，存在无法加入深度信息或深度信息无法准确被用于配准过程的问题，从而导致配准结果出现错误，无法在拼接时达到无缝的拼接效果。

发明内容

本发明的目的在于提供一种多目相机的图像配准和拼接方法及其装置，通过根据深度信息，可自适应对特征点进行分类，从而建立多维映射矩阵，使多目视频图像的配准更加准确，克服了单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。

为解决上述技术问题，本发明的实施方式公开了一种多目相机的图像配准方法，该多目相机包括至少两个摄像头，该配准方法包括以下步骤：

获取多个在时域上连续的同步图像组，其中，每个同步图像组包括至少两帧同时拍摄的具有重叠区域的同步图像；

提取同步图像组中同步图像的特征点，并计算同步图像的深度值；