[发明专利]一种基于全景视觉的农业机械远程辅助驾驶系统及方法

权利要求书

1.一种基于全景视觉的农业机械远程辅助驾驶系统，包括农业机械本体(10)和远程控制室，其特征在于：所述农业机械本体(10)上安装有鱼眼摄像机(1)和超声波雷达(2)，所述鱼眼摄像机(1)和超声波雷达(2)均设置有六个，分别固定安装在农业机械本体(10)的正前方、左前方、右前方、正后方、左后方、右后方；所述农业机械本体(10)上还固定安装有指令接收装置、指令发送装置和驾驶状态切换装置；所述远程控制室与农业机械本体(10)之间进行通信连接，所述远程控制室中安装有远程驾驶装置，所述远程驾驶装置包括有方向盘(3)、油门踏板(4)、档位(5)、座椅(6)、手刹(7)、刹车踏板(8)、离合器踏板(9)、操作台(11)、切换按钮(12)、状态指示灯和全景屏幕(16)，所述状态指示灯包括黄灯(13)、绿灯(14)和红灯(15)。

2.根据权利要求1所述的一种基于全景视觉的农业机械远程辅助驾驶系统，其特征在于，所述远程控制室中还安装有远程驾驶系统，所述远程驾驶系统与远程驾驶装置相匹配，所述远程驾驶系统包括有信息获取模块、信号发送模块、信号接收模块和驾驶状态切换模块；

所述信息获取模块，与鱼眼摄像机(1)相匹配，通过接收由六个鱼眼摄像机(1)组成的全景拍摄系统拍摄的360°全景照片来获取农业机械本体(10)驾驶位置及周边环境情况；

所述信号发送模块，与指令发送装置相匹配，当农业机械本体(10)的自动驾驶系统工作状态需要切换时，通过信号发送模块向远程控制室发送驾驶状态切换信号；

所述信号接收模块，与指令接收装置相匹配，用于接收农业机械本体(10)向远程控制室发送的驾驶状态切换信号；

所述驾驶状态切换模块，与驾驶状态切换装置相匹配，用于响应驾驶状态切换制定，将农业机械本体(10)由自动驾驶状态切换至远程手动驾驶状态。

3.根据权利要求1-2中任一所述的一种基于全景视觉的农业机械远程辅助驾驶系统所使用的一种基于全景视觉的农业机械远程辅助驾驶方法，其特征在于，包括以下步骤：

S1、在农业机械本体(10)的正前方、左前方、右前方、正后方、左后方、右后方上安装鱼眼摄像机(1)和超声波雷达(2)，并将其调整好角度；

S2、通过农业机械本体(10)上固定安装的六个鱼眼摄像机(1)采集农业机械本体(10)周围的环境状态，确保每个鱼眼摄像机(1)都能检测到60°画面，实现360°无死角无盲区拍摄，鱼眼摄像机(1)的俯仰视场角为0～60°，前后视场角为0～180°，然后通过全景拼接算法将六张鱼眼摄像机(1)拍摄的原始图像合并为一张全景鸟瞰图；

S3、获得全景图像后利用超声波雷达(2)来检测农业机械本体(10)周围的障碍物信息；

S4、利用YOLO V5算法对障碍物进行目标检测，YOLO V5的输入使用拼接数据增强来提高目标检测精度；

S5、当农业机械本体(10)遇到复杂情况而无法做出判断时，将农业机械本体(10)由自动驾驶状态切换为远程手动驾驶状态，切换为远程手动驾驶状态后，远程控制室中的驾驶员开始执行相应指令，对农业机械本体(10)进行远程驾驶操作，可以识别判断后，再将驾驶状态切换为自动驾驶状态运行。