[发明专利]一种建立果园中果树冠层特征地图的方法

摘要

本发明公开了一种建立果园中果树冠层特征地图的方法，包括使用RGB‑D相机实时采集机器人运动过程中周围环境图像的彩色信息与深度信息，并使用语义分割网络分割果树与其他环境特征，根据分割后的图像保留深度图像中果树的信息，从而生成果树的点云数据；提取彩色图像中的特征角点，计算相邻两帧图像相机的运动，并与IMU数据进行融合，从而估计出相机的运动状态；将多帧图像及相机位姿估计采用因子图构建优化问题，优化相机的位姿；根据果树点云数据与相机位姿构建果树冠层的八叉树地图。采集果园丰富的环境信息，提高机器人对果园环境的理解，满足机器人完成更高级的作业要求，比如自动导航，变量喷雾，水果采摘等。

主权项

1.一种基于RGB‑D相机与IMU建立果树冠层特征地图的方法，其特征在于：所述方法包括以下步骤：步骤1：采用基于RGB‑D相机实时采集环境的彩色信息和深度信息，采用高频率IMU测量角速度和线性加速度，对IMU数据进行积分，得到相机位姿的测量向量M；步骤2：采用全卷积神经网络FCN，实现像素级别端到端的语义分割，然后利用条件随机场CRF优化语义分割结果，将果树冠层彩色图像和深度图像转换为点云数据；步骤3：提取分割后彩色图像果树的ORB特征点，对相邻两帧图像中的特征点配对，剔除两帧图像误匹配的特征点，计算相机位姿的变换矩阵T，构建图优化问题，融合RGB‑D相机与IMU，优化相机位姿的变换矩阵T；步骤4：根据步骤3得到的相机位姿变换矩阵T，对步骤2得到的关键帧的点云数据进行拼接，采用八叉树建立果树冠层特征地图。