[发明专利]一种基于3D视觉的无序堆叠工件抓取系统及交互方法

权利要求书

1.一种基于3D视觉的无序堆叠工件抓取系统，其特征在于，包括：

图像采集模块，所述图像采集模块用于获取工件和场景的深度图像，所述图像采集模块采用3D相机，3D相机包括双目3D相机、ToF 3D相机、单目结构光3D相机、双目结构光3D相机；

任务执行模块，所述任务执行模块用于无序工件的抓取操作，所述任务执行模块采用机器人，机器人包括直角坐标机器人、圆柱坐标机器人、并联机器人、串联多关节机器人，还包括配合机器人执行任务的末端执行器；

信息交互模块，所述信息交互模块用于在3D视觉控制系统中嵌入信息输入接口和信息输出接口；所述信息输入接口用于接收图像采集模块和任务执行模块的状态信息，以及所述图像采集模块获取的图像数据信息；所述信息输出接口用于将任务管理模块处理得到的抓取位姿数据及抓取控制指令发送至所述任务执行模块，将拍照控制指令发送至所述图像采集模块；

任务管理模块，所述任务管理模块用于支持无序工件抓取任务的创建，用于接收用户的输入信息、所述图像采集模块提供的图像数据信息，并向所述任务执行模块输出抓取位姿数据及抓取控制指令，其中，所述任务管理模块包括：用户交互单元、图形渲染单元、点云计算单元、匹配识别单元、路径规划单元、避障控制单元、数据管理单元，所述点云计算单元用于将图像采集模块获取的深度图像进行处理，获得工件三维点云模型和场景三维点云模型，所述匹配识别单元通过工件三维点云模型与场景三维点云模型进行匹配，识别场景中的目标工件并计算得到抓取位姿数据，其中通过图形渲染单元的图像显示界面在场景三维点云模型中设置抓取操作的工作区域，并设置装有工件的料筐的三维线框图，采用料筐的三维线框图来表示工作区域；所述三维线框图作为工件抓取过程中的障碍物以便避障控制单元在工件抓取过程进行避障控制；系统管理模块，所述系统管理模块用于所述图像采集模块、所述任务执行模块的连接状态管理及完成所述图像采集模块和所述任务执行模块间的标定工作；

其中，所述系统管理模块包括：图像采集模块状态监控单元、任务执行模块状态监控单元、相机参数配置单元、手眼标定单元、相机标定单元。

2.根据权利要求1所述的一种基于3D视觉的无序堆叠工件抓取系统，其特征在于：

所述用户交互单元用于用户通过输入设备和流程化的交互界面进行无序工件抓取任务的创建，所述无序工件抓取任务的创建包括三维点云模型编辑、工具模型编辑、抓取坐标系编辑、工作区域设置、工件抓取规则设定、运动路径设置以及所述无序工件抓取任务的启停控制；

所述图形渲染单元用于工件三维点云模型和场景三维点云模型及末端执行器或末端工具模型的显示和编辑；

所述路径规划单元用于规划机器人末端执行器或末端工具抓取目标工件时进入工作区域和离开工作区域过程中经过的路径点；

所述避障控制单元用于在机器人运动过程中使末端执行器或末端工具避开障碍物；

所述数据管理单元用于管理工件三维点云模型数据、工具模型数据及用户交互单元输入的数据。

3.根据权利要求1所述的一种基于3D视觉的无序堆叠工件抓取系统，其特征在于：

所述图像采集模块状态监控单元用于监控3D相机的连接状态；所述任务执行模块状态监控单元用于监控机器人的连接状态；

所述相机参数配置单元用于调整3D相机的参数；

所述手眼标定单元用于获取3D相机坐标系和机器人坐标系的关系，将视觉识别的目标工件位姿变换为机器人坐标系中的抓取位姿数据；

所述相机标定单元用于获取3D相机的内参、外参和畸变系数，对3D相机拍摄的深度图像进行矫正，消除深度图像的畸变，同时建立图像坐标系与世界坐标系之间的关系。