[发明专利]一种多目立体相机的校准及深度图像处理方法

权利要求书

1.一种多目立体相机的校准及深度图像处理方法，其特征在于，包括：

步骤S1：在多目相机设备中选取基准相机和待修正相机，并获取相应的基准相机图像和对待修正相机图像；

步骤S2：根据所述基准相机图像和对待修正相机图像对所述待修正相机的内参量和外参量进行优化；

步骤S3：得到最终的深度图像。

2.根据权利要求1所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述内参量包括焦距，所述外参量包括双目相机的基线长和辐辏角；

所述步骤S2包括：

步骤S21：对其中一个基准相机图像和其中一个待修正相机图像分别进行特征提取；

步骤S22：对所述特征进行特征匹配查找，若成功匹配，则将该特征记为匹配特征，并获取该匹配特征的深度计算结果，所述匹配特征的深度计算结果包括该匹配特征的基准测量距离和该匹配特征的待修正双目视差值；

步骤S23：采用所有匹配特征的深度计算结果，通过非线性优化方法对所述待修正相机的内参量和外参量进行优化。

3.根据权利要求2所述的多目立体相机的校准及深度图像处理方法，其特征在于，在所述步骤S23中，所述所有匹配特征的深度计算结果被构建为两个深度数据集合，分别为所有匹配特征的基准测量距离的集合和所有匹配特征的待修正双目视差值的集合。

4.根据权利要求2所述的多目立体相机的校准及深度图像处理方法，其特征在于，在所述步骤S23中，在对所述待修正相机的内参量和外参量进行优化时，内参量和外参量的修正量为：

其中，z_iA为匹配特征i的基准测量距离，f_B为待修正相机的焦距，Δf为待修正相机的焦距的修正量，v_B为待修正相机的基线长，Δb为待修正相机的基线长的修正量，d_iB为匹配特征i的待修正双目视差值，Δd为双目视差值的修正量；

且所述辐辏角的修正量为arctan(Δd/f)，其中，Δd为双目视差值的修正量，f为待修正相机的焦距。

5.根据权利要求4所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述待修正相机的焦距的修正量Δf和待修正相机的基线长的修正量Δb的其中一个设置为0。

6.根据权利要求2所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述步骤S22还包括：根据所述基准相机图像获取该匹配特征的基准双目视差值，根据所述待修正相机图像获取该匹配特征的待修正双目视差值，随后根据所述基准相机的内参量和外参量以及该匹配特征的基准双目视差值计算得到匹配特征的基准测量距离。

7.根据权利要求2所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述步骤S1还包括：根据所述基准相机图像获取基准视差图，根据所述待修正相机图像获取待修正视差图，所述基准视差图和待修正视差图分别包括图像中的各个目标点的基准双目视差值和待修正双目视差值，随后根据所述基准相机的内参量和外参量以及基准视差图计算得到一基准深度图像，作为当前深度图像；

在所述步骤S22中，所述匹配特征的基准测量距离通过所述基准深度图像得到。

8.根据权利要求7所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述步骤S1还包括：设置所述基准相机与待修正相机的深度重合范围，并根据待修正相机的内参量和外参量及所述待修正视差图计算一待修正深度图像；

且所述步骤S21还包括：分别从提取的特征中筛选出在对应的基准深度图像和对应的待修正深度图像中处于深度重合范围内的特征。

9.根据权利要求8所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述深度重合范围的最近及最远距离阈值根据基准相机与待修正相机的精度、视差范围的阈值，获得基准相机与待修正相机的各自的测量范围的最近及最远距离，从而计算并设置；或者根据经验设置。