[发明专利]多目相机的图像配准和拼接方法及其装置

权利要求书

1.一种多目相机的图像配准方法，其特征在于，所述多目相机包括至少两个摄像头，所述配准方法包括以下步骤：

获取多个在时域上连续的同步图像组，其中，每个同步图像组包括至少两帧同时拍摄的具有重叠区域的同步图像；

提取所述同步图像组中同步图像的特征点，并计算所述同步图像的深度值；

根据所述深度值自适应将同步图像的所述特征点划分到不同的特征点平面；

将划分到同一特征点平面的特征点进行匹配得到所述特征点平面的匹配特征点并根据所述匹配特征点建立所述特征点平面的映射矩阵；

基于多个特征点平面对应的多维映射矩阵生成配准参数；

所述根据所述深度值自适应将同步图像的所述特征点划分到不同的特征点平面的步骤包括以下子步骤：

对所述深度值建立高斯模型，并通过下式计算所述深度值的高斯分布概率密度f(x)：

其中，μ为所述深度值的平均值，σ为所述深度值的方差，x为特征点深度值变量；

根据下式计算所有特征点的平均深度差k：

其中，d_i为第i个特征点的深度值，N为特征点的总数目，i＝1,2,......,N-1,N；

根据所述平均深度差和深度值的方差将所述特征点划分到不同的特征点平面。

2.根据权利要求1所述的多目相机的图像配准方法，其特征在于，所述根据所述平均深度差将所述特征点划分到不同的特征点平面的子步骤是通过以下方式实现的：

设置平均深度差和深度值的方差的数值范围与所述特征点平面的数目的对应表；

从所述对应表中获得当前计算得到的所述平均深度差和深度值的方差所对应的特征点平面的数目。

3.根据权利要求1至2中任一项所述的多目相机的图像配准方法，其特征在于，该多目相机具有两个摄像头。

4.一种多目相机的图像拼接方法，其特征在于，所述多目相机包括至少两个摄像头，所述方法包括以下步骤：

根据权利要求1至3中任一项所述的图像配准方法获取配准参数；

根据所述配准参数，对所述摄像头拍摄的视频流中所述同步图像组中的同步图像进行多平面映射；

将所述同步图像组中的同步图像进行融合和颜色迁移，生成拼接图像。

5.一种多目相机的图像配准装置，其特征在于，所述多目相机包括至少两个摄像头，所述装置包括：

获取单元，用于获取多个在时域上连续的同步图像组，其中，每个同步图像组包括至少两帧同时拍摄的具有重叠区域的同步图像；

提取单元，用于提取所述同步图像组中同步图像的特征点，并计算所述同步图像的深度值；

划分单元，根据所述深度值自适应将同步图像的所述特征点划分到不同的特征点平面；

矩阵单元，用于将划分到同一特征点平面的特征点进行匹配得到所述特征点平面的匹配特征点并根据所述匹配特征点建立所述特征点平面的映射矩阵；

参数单元，用于基于多个特征点平面对应的多维映射矩阵生成配准参数；

所述划分单元包括以下子单元：

建模子单元，用于对所述深度值建立高斯模型，并通过下式计算所述深度值的高斯分布概率密度f(x)：

其中，μ为所述深度值的平均值，σ为所述深度值的方差，x为特征点深度值变量；

根据下式计算所有特征点的平均深度差k：

其中，d_i为第i个特征点的深度值，N为特征点的总数目，i＝1,2,......,N-1,N；

分类子单元，根据所述平均深度差和深度值的方差将所述特征点划分到不同的特征点平面。

6.根据权利要求5所述的多目相机的图像配准装置，其特征在于，所述分类子单元通过以下方式实现对所述特征点的划分：

设置平均深度差和深度值的方差的数值范围与所述特征点平面的数目的对应表；

从所述对应表中获得当前计算得到的所述平均深度差和深度值的方差所对应的特征点平面的数目。

7.根据权利要求5至6中任一项所述的多目相机的图像配准装置，其特征在于，该多目相机具有两个摄像头。

8.一种多目相机的图像拼接系统，其特征在于，所述多目相机包括至少两个摄像头，所述系统包括：

如权利要求5至7中任一项所述的图像配准装置；

映射单元，用于根据所述配准参数，对所述摄像头拍摄的视频流中所述同步图像组中的同步图像进行多平面映射；

融合单元，用于将所述同步图像组中的同步图像进行融合和颜色迁移，生成拼接图像。