[发明专利]基于PMD相机和摄像头的彩色三维重建系统及其方法

权利要求书

1.一种基于PMD相机和摄像头的彩色三维重建系统，其特征在于，包括：

单独标定模块，用于对PMD相机、摄像头进行标定，获取所述PMD相机、所述摄像头的内部参数、外部参数和畸变参数；

组合标定模块，用于对所述PMD相机、所述摄像头分别采集的图像，根据所述内部参数、所述外部参数和所述畸变参数求解对应的校正后图像、所述PMD相机、所述摄像头坐标系之间的相对旋转矩阵和平移向量；

三维重建模块，用于选取所述校正后图像中四个边缘的像素点，并根据所述相对旋转矩阵和平移向量求解在所述摄像头上的对应点，获得所述摄像头采集的图像中对应的图像边缘，并分割出后存储为新的图像。

2.根据权利要求1所述的彩色三维重建系统，其特征在于，所述单独标定模块还用于对所述内部参数、外部参数进行优化。

3.根据权利要求1所述的彩色三维重建系统，其特征在于，所述组合标定模块还用于：当所述摄像头、PMD相机上下固定后，从不同角度同时采集至少三张图像，检测出每张照片中的特征点，根据所述特征点并利用旋转矩阵的正交性和所述内外参数和畸变参数，通过求解线性方程，求取所述相对旋转矩阵和平移向量。

4.根据权利要求1、2或3所述的彩色三维重建系统，其特征在于，所述三维重建模块采用以下方式获取所述校正后图像在所述摄像头上的对应点：

P_web(X_c，Y_c，Z_c)＝RP_pmd(X₁，Y₁，Z₁)+T

其中，（X₁，Y₁，Z₁）是PMD相机采集到校正后图像的边缘像素点，（X_c，Y_c，Z_c）是在所述摄像头上的对应点，R、T是两相机坐标系之间的相对旋转矩阵和平移矩阵，P_pmd是表示在PMD相机坐标系下一点的空间坐标，P_wed是表示在摄像头坐标系下一点的空间坐标，下标pmd表示在PMD坐标系下，下标web表示在摄像头坐标系下。

5.根据权利要求1、2或3所述的彩色三维重建系统，其特征在于，所述三维重建模块还用于：利用所述内部参数、外部参数得到畸变校正后图像；求解所述PMD相机、所述摄像头的共同视野范围；求解XYZ空间位置信息对应的RGB彩色信息，利用4点加权求和求解；根据所述共同视野范围利用双线性插值方法得到高分辨率XYZ-RGB图像信息，完成三维重建。

6.一种基于PMD相机和摄像头的彩色三维重建方法，其特征在于，包括：

步骤一，对PMD相机、摄像头进行标定，获取所述PMD相机、所述摄像头的内部参数、外部参数；

步骤二，对所述PMD相机、所述摄像头分别采集的图像，通过所述PMD相机、所述摄像机的内部参数和畸变参数求解对应的校正后图像、相机坐标系之间的相对旋转矩阵和平移向量，并去边缘方形化；

步骤三，选取所述校正后图像中四个边缘的像素点，并根据所述相对旋转矩阵和平移向量求解在所述摄像头上的对应点，获得所述摄像头采集的图像中对应的图像边缘，并分割出后存储为新的图像。

7.根据权利要求6所述的彩色三维重建方法，其特征在于，所述步骤一中，包括：

B1.获取标定板；

B2.移动标定板或相机，从不同角度拍摄至少8张照片；

B3.检测出每张照片中的所有特征点；

B4.根据所述特征点并利用旋转矩阵的正交性，通过求解线性方程，得到所述内部参数和外部参数。

8.根据权利要求6所述的彩色三维重建方法，其特征在于，所述步骤二中，包括：

C1.获取标定板；

C2.移动标定板或相机，从不同角度同时拍摄至少3张照片；

C3.检测出每张照片中的所有特征点；

C4.利用所述内外参数对图像进行畸变校正，根据所述特征点并利用旋转矩阵的正交性，通过求解线性方程，得到所述旋转矩阵和平移矩阵；

C5.利用最小二乘法优化法可得优化后的所述旋转矩阵和平移矩阵。