[发明专利]一种基于多视角RGB-D融合技术的悬架式高通量温室植物表型测量系统

摘要

本发明旨在提供一种悬架式高通量温室植物表型测量系统。测量系统安装于悬架式支架上，悬架式支架可实现三轴移动，以满足全生长周期植物表型原位测量需求。测量系统主要有三个TOF相机组成，分别采集各个视角下RGB‑D图像，通过TOF相机内部参数，将深度图转换为三维点云图。通过棋盘标定，获得三个视角的旋转矩阵和平移矩阵，选定参考视角，将其他两个视角的三维点云进行坐标变换，实现三个视角的三维点云坐标统一坐标系，并进行迭代最近点法ICP精确配准，实现温室植物三维点云模型精确重构。该发明测量系统具有精度高、速度快、适用性强的高通量温室植物表型原位测量系统。

主权项

1.一种基于多视角RGB‑D融合技术的悬架式高通量温室植物表型测量系统，其特征在于，包括悬架式支架、三轴滑轨移动系统、三个TOF相机、三个激光测距传感器、限位开关、控制器、图形工作站、植物表型测量软件以及测量系统控制柜；悬架式支架为Y形滑轨结构，在三个滑轨上安装有万向支架，三个TOF相机分别安装于万向支架上，可实现TOF相机的位置调节；在温室横梁下方安装三轴滑轨移动控制系统，悬架式支架安装于三轴滑轨上，实现横轴(X轴)、纵轴(Z轴)、以及垂直(Y轴)三个方向的移动，测量系统通过三轴移动控制器，实现温室植物表型原位高通量测量；三轴滑轨移动系统，分别由三个步进电机控制，步进电机驱动器信号线连接至控制器，并且悬架式支架上安装有三个激光测量传感器，激光测量器信号线连接至控制器，实现支架的三轴精确定位；三个TOF相机，实现三个视角的RGB‑D图像采集功能；在滑轨X轴、Y轴和Z轴两端均设置有限位保护开关，实现悬架式测量系统的位姿控制保护功能；TOF相机通过USB线缆连接至图形工作站，采用软件触发方式。测量系统控制柜安装于悬架式支架侧面，控制柜中主要包括：开关电源、控制器、继电器、步进电机驱动器以及图像工作站；温室植物表型测量软件安装于图形工作站上，控制器通过过RS232线连接至图形工作站；三个视角的RGB‑D图像采集主要流程：首先初始化测量参数，主要包括测量系统测量高度、步进距离、相机内参、TOF相机相对旋转矩阵与位移矩阵等参数；当测量系统到达待测植物上方时，三个TOF相机采集RGB‑D图像，根据相机内部参数，将各个视角的RGBD图像转为三维点云图，对各个视角的三维点云图进行包围盒分割，去除不相关的点云信息，并进行离群点去除预处理，然后选定参考坐标定，根据相机的相对旋转矩阵和位移矩阵，进行三个视角的点云坐标系统一处理；多视角点云坐标性统一后，将其他两个视角的点云与参考坐标性点云进行迭代最近点算法ICP配准，实现多视角三维点云精确重建，最后根据三维点云信息，计算植物表型信息；RGB‑D融合算法如下所述：通过TOF相机采集RGB‑D图像，根据公式(1)将二维深度图D(i，j)转换为三维点云图。式中(x，y，z)为三维点云图坐标，i为二维深度图的行坐标，j为二维深度图的列坐标，D(i，j)为深度为在坐标(i，j)处的值，(cx，cy)为主点坐标，(fx，fy)为焦距；由于植物为非刚体测量对象，本发明采用多个视角的RGB‑D图像，实现植物三维点云高速重建，不需要旋转植物，减少植物晃动引起的重建误差；以三个视角RGB‑D图像重建为例，阐述其实现原理，具体原理如下：在不同的测量位置(三个视角)采集温室植物RGB‑D图像，各个视角下采集的三维点云坐标公式，如公式(2)～(4)所示：式中：(x1，y1，z1)为第一视角坐标系下的三维点云坐标，(Xw，Yw，Zw)为世界坐标系的坐标，R1为世界坐标系的坐标相对于第一视角坐标系旋转矩阵，t1为世界坐标系的坐标相对于第一视角坐标位移矩阵；(x2，y2，z2)为第二视角坐标系下的三维点云坐标，R2为世界坐标系的坐标相对于第二视角坐标系旋转矩阵，t2为世界坐标系的坐标相对于第二视角坐标位移矩阵；(x3，y3，z3)为第三视角坐标系下的三维点云坐标，R3为世界坐标系的坐标相对于第三视角坐标系旋转矩阵，t3为世界坐标系的坐标相对于第三视角坐标位移矩阵；R1、t1、R2、t2、R3、t3是通过棋盘标定板标定获得；根据公式(2)～(4)，求得第一视角坐标系下点云坐标变换至第二视角坐标系下，如式(5)，以及第三视角坐标系下点云坐标变换至第二视角坐标系下，如式(6)：根据公式(5)～(6)，可知第一视角相对于第二视角的点云坐标旋转矩阵R12，如式(7)，以及位移矩阵t12，如式(8)；第三视角相对于第二视角的点云坐标旋转矩阵R32，如式(9)，以及位移矩阵t32，如式(10)；R12＝R2R1‑1   (7)t12＝t2‑R2R1‑1t1   (8)R32＝R2R3‑1   (9)t32＝t2‑R2R3‑1t3   (10)根据上述三维点云坐标系变换，可实现三个视角下的三维点云坐标系统一，如式(11)和(12)，分别为第一视角变换至参考坐标系(第二视角)的变换公式，以及第三视角变换至参考坐标系(第二视角)的变换公式；根据上述三维点云坐标系变换，可知公式(3)、(11)以及(12)实现了统一坐标系；此时，三个视角三维点云已经实现了粗配准，再将(x12，y12，z12)与(x2，y2，z2)进行迭代最近点算法ICP配准，以及(x32，y32，z32)与(x2，y2，z2)进行迭代最近点算法ICP配准；两个三维点集X1(参考点集)和X2(原始点云)，ICP方法的配准步骤如下：第一步，计算X2中的每一个点在X1点集中的对应近点；第二步，求得使上述对应点对平均距离最小的刚体变换，求得平移参数和旋转参数；第三步，对X2使用上一步求得的平移和旋转参数，得到新的变换点集；第四步，如果新的变换点集与参考点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续迭代，直到达到目标函数的要求。