[发明专利]一种人机交互式温室果蔬采收机器人系统及其采收方法

权利要求书

1.一种人机交互式温室果蔬采收机器人系统，其特征在于，所述系统包括导航图像采集装置、果蔬图像采集装置、机械手装置、机器人移动平台、果蔬输送装置、主控设备：

所述导航图像采集装置：用于系统工作时移动全景导航图像的实时获取；

所述果蔬图像采集装置：用于系统工作时果蔬图像的获取；

所述机械手装置：用于根据人机交互结果获取的采收目标位置信息进行抓取分离；

所述机器人移动平台：用于在温室环境下的控制运动；

所述果蔬输送装置：用于负责果蔬采收后的传输；

所述主控设备：基于计算机集成了导航界面、采摘交互界面和设置界面，用于对整个系统进行控制；

所述导航图像采集装置由360度全景影像机组构成，后经图像拼接后在人机交互屏上显示以此用于系统的远程指示移动；

所述机械手装置包括2个5自由度机械臂且分别置于移动平台的轮侧对角位置；所述果蔬图像采集装置包括两套单目彩色摄像机；考虑到系统平台大小受温室采收空间限制，而又要不遮挡图像采集，摄像机分别安置于2个机械手装置的末端执行器上，与主控设备上的相应接口相连，实现两路图像采集；

所述机械手装置的末端执行器的夹持中心加装有反射型激光测距仪，用于目标果蔬深度信息的获取；

所述主控设备包括人机交互触摸屏，与主控计算机可无线远程通信，在果蔬采摘前通过导航界面指引平台移动；果蔬采摘时显示要采集的果蔬图像，通过触摸笔手动点取要采收的目标果蔬，上半面目标果蔬由轮侧左方机械手采收，下半面目标果蔬由轮侧右方机械手采收；除此之外触摸屏还用于平台各功能的手动测试以及图像坐标系和机械手坐标系的映射校准；界面的切换通过屏幕虚拟按钮来完成。

2.如权利要求1所述的人机交互式温室果蔬采收机器人系统，其特征在于，2个所述的5自由度机械臂，两机械臂为直角坐标系和关节式混合执行机构；机械手放置所采收果蔬，其旋转方向相逆，避免相撞。

3.如权利要求1所述的人机交互式温室果蔬采收机器人系统，其特征在于，机械臂的第一个自由度为横移自由度，用于机械手沿着导轨横轴移动；第二个自由度为旋转自由度，用来旋转移动后3个自由度机械臂；第三个自由度为升降自由度，起纵向抬升机械手的作用；第四个自由度为旋转自由度，用于调节后自由度机械臂的下俯或上仰角度以便于采收低矮或高架果蔬；第五个自由度为直动自由度，连接末端执行器直动采收目标果蔬；机械手各个自由度采用磁性元件作为限位传感器，以保护设备安全；末端执行器夹具加装内含压力传感器的柔性衬垫，最大限度避免果蔬损伤；机械手各自由度伺服驱动器基于现场总线组网后与主控计算机连接进行通信控制；末端执行器则通过串口与主控计算机连接实现通信控制；机械手其他各个限位、压力传感器通过开关量数据采集卡与主控计算机PCI相连。

4.如权利要求1所述的人机交互式温室果蔬采收机器人系统，其特征在于，所述机器人移动平台包括履带轮式车体、电源、动力控制设备；电源用于提供系统能量；动力控制设备用于驱动所述履带轮式车体，收拣果蔬输送带的运转。

5.如权利要求1所述的人机交互式温室果蔬采收机器人系统，其特征在于，所述果蔬输送装置由两段传送带组成，一段水平固定于移动平台中间，两机械臂置于两侧对角；另一段紧接第一段传送带，接头端可旋转，工作时旋转近地，接力传送果蔬于地面，不工作时向上回转收起。

6.一种人机交互式温室果蔬采收机器人系统的果蔬采收方法，其特征在于：基于如权利要求1至5中任一项所述的人机交互式温室果蔬采收机器人系统进行，包括以下步骤：

步骤1：首先系统启动后，在人机交互屏上选择导航界面，工作人员基于导航图像无线远程指引平台进入种植园果蔬夹道内，两边轮侧机械手装置分别正向面向果蔬，启动平台中间的果蔬传送带；

步骤2：基于自下而上采收准则调整好机械手装置的位置，并在人机交互屏设置界面上完成图像坐标系和机械手坐标系的映射校准；切换果蔬采摘交互界面，果蔬图像显示在屏幕上；

步骤3：工作人员通过触摸笔点击交互界面果蔬图像上要采收的果蔬目标，主控计算机同时自动记录目标果实的二维图像坐标和上下半面的点击顺序；

步骤4：系统通过坐标转换换算为机器坐标控制各个机械手装置调整横移、升降机械臂对准目标果蔬，在此过程中，直动关节以低速向前推进；

步骤:5：系统启动各个机械手装置的末端执行器夹持中心的激光测距仪，获取将要进行采收的果蔬深度信息，随后直动关节以高速行进至所测深度距离后，末端执行器夹持目标果蔬；

步骤6：直动关节回程，旋转机械手至输送带，打开末端执行器，目标果蔬经输送带传送至地面，等待工作人员拣拾；

步骤7:在上一果蔬落入输送带的同时，机械手装置回转而后根据步骤2记录的人机交互采收记录信息，重复执行步骤4-步骤6；

步骤8:当采集图像上要采收的果蔬目标全部采收后，采集下一帧图像同时基于机械手装置各机械臂位置自动完成图像坐标系和机械手坐标系的映射校准，重复执行步骤3-步骤7；

步骤9：当区域内果蔬都采集完后，工作人员在人机交互屏上选择导航界面，指引平台移动至下一合适位置，重复执行步骤2-步骤8。