[发明专利]一种基于视觉定位的机械手作业路径规划方法及装置

权利要求书

1.一种基于视觉定位的机械手作业路径规划方法，其特征在于，所述方法包括：

启动设置在机械手上的视觉设备对所述机械手作业范围内的工作台内的待作业目标对象进行匹配识别；

在匹配到待作业目标对象时，对所述待作业目标对象进行定位处理，获得待作业目标的位置信息；

基于所述视觉设备获得所述待作业目标对象与周边各个障碍物的相对位置信息及各个障碍物大小关系；

基于待作业目标的位置信息、所述待作业目标对象与周边各个障碍物的相对位置信息、各个障碍物大小关系、工作台在机械手工作范围内移动速度及作业内容形成初始作业规划路径；

所述机械手在基于所述初始作业规划路径对所述待作业目标对象进行作业时，基于所述视觉设备对所述待作业目标对象进行实时定位，并基于实时位置信息对所述初始作业规划路径进行更新；

所述启动设置在机械手上的视觉设备对所述机械手作业范围内的工作台内的待作业目标对象进行匹配识别，包括：

所述机械手的控制模块接收控制端基于文件传输界面发送的控制文件；

所述机械手的控制模块对所述控制文件进行解析，获得控制文件内的待作业目标对象及作业内容；

启动设置在所述机械手上的视觉设备对所述机械手作业范围内的工作台进行实时视频监测；

将实时视频监测内的目标对象与所述控制文件内的待作业目标对象进行匹配识别；

所述文件传输界面包括视频窗口界面和文件上传界面；

在文件传输界面为视频窗口界面时，控制端采用IP流媒体的方式根据DiiVA技术发送控制文件；在文件传输界面为文件上传界面时，控制端根据文件上传界面发送控制文件；采用实时传输协议或者传输控制协议对数据进行实时传输差错控制；

所述基于所述视觉设备获得所述待作业目标对象与周边各个障碍物的相对位置信息及各个障碍物大小关系，包括：

基于所述视觉设备与所述机械手形成的手眼系统对所述待作业目标对象周边的各个障碍物进行相对位置定位识别，获得所述待作业目标对象与周边各个障碍物在所述手眼系统内的相对坐标位置信息；

基于各个障碍物在所述手眼系统内所占的坐标位置信息进行三维建模，获得各个障碍物的三维模型；

基于所述各个障碍物的三维模型获得各个障碍物大小关系，其中所述各个障碍物的大小关系包括各个障碍物的长宽高关系；

所述基于待作业目标的位置信息、所述待作业目标对象与周边各个障碍物的相对位置信息、各个障碍物大小关系、工作台在机械手工作范围内移动速度及作业内容形成初始作业规划路径，包括：

所述机械手的控制模块在获得待作业目标的位置信息、所述待作业目标对象与周边各个障碍物的相对位置信息、各个障碍物大小关系、工作台在机械手工作范围内移动速度及作业内容后，基于所述待作业目标的位置信息、所述待作业目标对象与周边各个障碍物的相对位置信息、各个障碍物大小关系、工作台在机械手工作范围内移动速度及作业内容形成初始作业规划路径；

所述工作台在机械手工作范围内移动速度为所述机械手所控制的作业区域对应的流水线移动速度；

所述对所述待作业目标对象进行定位处理，获得待作业目标的位置信息，包括：

基于所述视觉设备与所述机械手形成的手眼系统对所述待作业目标对象进行定位处理，获得待作业目标在所述手眼系统内的坐标位置信息；

在匹配到待作业目标对象时，通过视觉设备与机械手形成的手眼系统构建相关的坐标系，假设视觉设备中的双摄像头设备的一个摄像头标记为O1,另一个标记为O2；以其中一个摄像头标记为坐标系的坐标原点，假设以O1为坐标系的坐标原点，两个摄像头设备之间的连线为X轴，两点之间的距离为b，在双摄像头设备中，X轴和Y轴垂直，采用右手准则确定深度方向的Z轴，双摄像头设备的有效视场的高度与单台摄像头设备相同；在两个摄像头任意摆放时，在坐标系XOZ平面内沿Z轴方向连线以形成双目系统的有效视场，其宽度为w，假设任意一个目标点P(x,y,z)在双目摄像头设备中的两个摄像头采集图像上的投影分别为p1(u1,v1)，p2(u2,v2)，P点相对于双摄像头设备透视中心点O1和O2的张角分别为a1和a2，对模型的简化，假设摄像头具有相同的配置，且对称放置，由几何关系即可计算出P点的坐标P(x,y,z)的值，即可得到待作业目标在手眼系统内的坐标位置信息；

所述机械手在基于所述初始作业规划路径对所述待作业目标对象进行作业时，基于所述视觉设备对所述待作业目标对象进行实时定位，包括：

机械手在基于所述初始作业规划路径对所述待作业目标对象进行作业时，实时通过所述视觉设备与所述机械手形成的手眼系统对所述待作业目标对象进行实时定位。