[发明专利]一种基于AR的矮化密植果树定穴施肥遥控操作方法

摘要

本发明涉及一种基于AR的矮化密植果树定穴施肥遥控操作方法，包括施肥机和操作人员使用的手机及AR眼镜，该施肥机顶部安装双目摄像机，能够采集轨道侧面果树图像，并通过4G/5G网络模块上传到云端流媒体服务器，再通过手机接收相关位置信息，并在AR眼镜上显示，然后，再操作手机发送控制信号，经过云端服务器控制施肥机进行施肥动作，既解决了果树间空间狭小作业机械无法进入的问题，又能够实现遥操作精准穴施，可有效提高作业效率和质量。

主权项

1.一种基于AR的矮化密植果树定穴施肥遥操作方法，包括施肥机和操作人员使用的手机及AR眼镜，该施肥机安装在轨道上，该轨道两端设有电机，能够拖动所述施肥机沿所述轨道移动；所述轨道上设有位置传感器，能够获取所述施肥机的位置信息；其特征是：该施肥机顶部安装双目摄像机，能够采集轨道侧面果树图像，并通过4G/5G网络模块上传到云端流媒体服务器；所述手机能够连接云端流媒体服务器和云端通讯服务器，并获取双目视频流，再合成左右格式的3D图像后推送到AR眼镜上；所述操作方法包括以下步骤：1）施肥机在电机带动下在轨道上移动，双目摄像机以固定机位不间断采集轨道侧面果树图像，并通过4G/5G网络模块上传到云端流媒体服务器；2）图像处理单元对采集到的图像实时分析处理，探测图像中是否有树干；如果有，通过双目测距算法，快速定位树干底部中心点相对施肥机几何中心的位置信息；该位置信息以二维平面直角坐标数据表示；3）当树干底部中心点处在施肥机的施肥作业半径以内时，施肥机停止前行，记录当前的树干底部中心点坐标；否则，返回步骤1）；4）通过位置传感器获取施肥机几何中心在轨道上的位置信息；5）将步骤3）中树干底部中心点位置信息和步骤4）中施肥机几何中心在轨道上的位置信息进行数据融合，计算出树干底部中心点在果园中的绝对位置信息，并通过4G/5G网络模块，将该绝对位置信息上传到云端通讯服务器；该绝对位置信息以坐标形式表示；6）操作人员在远程通过手机的4G/5G网络连接到上述云端流媒体服务器和云端通讯服务器；在云端流媒体服务器上获取双目视频流，并在手机中合成左右格式的3D图像，推送到AR眼镜上；在云端通讯服务器上获取树干底部中心点坐标，并以此为圆心，绘制一个半径为R的圆，推送到AR眼镜上，以立体投影方式和实景叠加显示；此圆即为施肥圆，圆周上任意一点均可作为穴施点；7）操作人员带上AR眼镜，即可看到树根部3D实景图片和叠加的以彩色形式突出显示的施肥圆，并通过手机发送重力传感器数据到云端通讯服务器；8）施肥机通过4G/5G模块连接到云端通讯服务器，取回重力传感器数据，并将该数据转换为控制指令，控制施肥机的肥料臂往前后左右4个方向上的水平运动；9）操作人员在远程通过AR眼镜观察肥料臂的位置，当该施肥臂到达施肥圆上方后，操作人员操作手机，使施肥臂的末端插入到土壤，完成施肥；同时，将该施肥点的坐标数据通过4G/5G网络回传到云端通讯服务器保存，并在施肥圆上，对该施肥点进行标记；10）返回步骤1）。