[发明专利]一种植物植株三维模型快速重建方法

权利要求书

1.一种植物植株三维模型快速重建方法，其特征在于，步骤如下：

S1、首先，将Kinect V2相机以目标植物为轴呈左右对称放置，确定相机的高度和距离植物的距离；

S2、进行彩色相机和深度相机的系统参数标定，通过标定获得彩色相机的内部参数矩阵H_rgb、深度相机的内部参数矩阵H_ir、Kinect V2彩色相机和深度相机之间旋转矩阵R和平移向量T、相机外部参数即两台Kinect V2相机之间的旋转矩阵r和平移向量t；

S3、KinectV2获取的RGB图像和深度数据，得到彩色三维点云；

S4、提取特定范围内的点云数据，减少背景对于数据分析的负面影响；

S5、将得到的两片点云融合为同一个世界坐标系中的点云集，再对融合后的点云集进行背景去除和噪点滤波，进而得到植株的彩色三维点云模型；

S6、利用颜色滤波算法对融合完成的点云数据进行处理，除去背景信息，提取植株点云；

S7、经过颜色滤波之后，保留下的点的集合即为植株三维点云模型；

步骤S2中，系统标定方法如下：

（1）固定好KinectV2相机和棋盘格标定板位置，利用KinectV2相机红外摄像头采集红外信息、彩色摄像头获取彩色信息，标定图片需要使用标定板在不同位置、不同角度、不同姿态下拍摄；

（2）利用Stereo Camera Calibration软件包在matlab软件中对红外图像和彩色图像进行标定处理；

（3）分别将红外图像和彩色图像导入matlab中，Stereo Camera Calibration可以得出每幅图像的标定误差和图像的平均标定误差；平均标定误差需要控制在0.15以下，如果平均标定误差大于0.15，则从标定误差最大的图像开始，按照标定误差的降序依次将图像删除，直到平均标定误差小于0.15；

（4）当平均标定误差小于0.15时，Stereo Camera Calibration得到的RGB相机内部参数矩阵H_rgb、深度相机的内部参数矩阵H_ir、旋转矩阵R和平移向量T即为有效参数；

（5）两台Kinect V2相机坐标系中X轴和Z轴正方向相反，Y轴正方向一致，则两个相机之间的平移向量t中Y方向分量为0，相机之间的旋转矩阵r和平移向量t的具体求解过程如下：

①平移向量t中X轴分量和Z轴分量求解过程：

设空间中某点转换之前的坐标为（x_a，y_a，z_a）^T，转换之后的坐标为（x_b，y_b，z_b）^T，则在XOZ平面内点M1的坐标为（x_a、z_a）^T、点M₂的坐标为（x_b、z_b）^T、y_a=y_b；由此可以得出：

（1）

在旋转前后，在X轴分量、Z轴分量的变化△x_ab、△z_ab分别为：

（2）；

②旋转矩阵r的求解过程：

设空间中某点旋转之前的坐标为（x₁，y₁，z₁）^T，旋转之后的坐标为（x₂，y₂，z₂）^T，则在XOZ平面内：点Q₁的坐标为（x₁、z₁）^T、点Q₂的坐标为（x₂、z₂）^T、y₁=y₂，由此可以得出：

（3）

把x₂和z₂运用三角形公式展开：

（4）

由此可得绕作物中心轴旋转θ角的旋转矩阵r为：

；

步骤S3中，根据KinectV2获取的RGB图像和深度数据，得到彩色三维点云，具体方法如下：

（1）利用深度相机的内参作为约束条件，将深度相机获取的深度数据转换为深度相机坐标系中的三维点云，坐标变换公式如下：

（5）

公式（5）中[H_ir]^-1是深度相机内参矩阵H_ir的逆矩阵；p_ir代表Kinect v2获取的深度图像中的某个像素的深度信息，其中，D为深度数值，x',y'分别是该深度值在深度图像中的行和列位置；P_ir是将原始深度像素转换到深度相机坐标系中的转换深度像素，其中，x_ir,y_ir,z_ir分别表示转换后深度值在深度相机坐标系中的三维空间位置；

（2）将深度相机坐标系中的深度三维点云数据转换到彩色相机坐标系中，变换公式如下：

(6)

公式（6）中R和T分别指Kinect V2彩色相机和深度相机之间旋转矩阵R和平移向量T，P_ir是深度相机坐标系中的某个深度像素的信息；P_rgb是转换到彩色相机坐标系中的深度像素信息，x_rgb、y_rgb、z_rgb是彩色相机坐标系下的该深度值的三维空间位置；

（3）求解彩色图像中的像素点的颜色值，并与深度图像中的深度值进行匹配，得到彩色三维点云，变换公式如下：

（7）

公式（7）中P_rgb是公式（6）中得到彩色相机坐标系中深度像素信息，H_rgb是彩色相机内部参数矩阵，p'_rgb是Kinect v2获取的彩色图像中某个像素的信息，其中，x''、y''分别是该像素在彩色图像中的行和列位置，C代表颜色值；

（4）对深度相机获取的每一个深度值都按照上述步骤进行处理，最终得到整个植株的彩色三维点云。