[发明专利]执行机构操作空间视觉信息确定方法及系统

说明书

本发明涉及一种执行机构操作空间视觉信息确定方法及系统，所述视觉信息确定方法包括：获取关于执行机构操作空间的多个样本；其中，每一样本均包括光学图像、深度图像及三维坐标；根据各样本，建立视觉信息映射模型；具体包括：针对每一样本，根据目标物的光学图像、深度图像，确定目标像素位置信息；根据目标像素位置信息，确定二值掩码图像；基于各目标物的光学图像、深度图像、二值掩码图像及三维坐标，确定视觉信息映射模型；获取待测目标物的待测光学图像、待测深度图像；基于视觉信息映射模型，根据所述待测光学图像、待测深度图像，可快速确定所述待测目标物的三维坐标信息。

技术领域

本发明涉及图像处理技术领域，特别涉及一种执行机构操作空间视觉信息确定方法及系统。

背景技术

用尽量少的视觉信息对执行机构所处操纵空间进行重建，例如机械臂，是使得机械臂具有对机械臂环境感知能力的重要环节。为了通过相机实现机器人的位置反馈和目标检测，需要建立相机坐标系和机器人坐标系的坐标映射关系，即视觉信息重建。

目前，视觉信息重建一般有两种形式：相机与机器人末端固连和相机独立固定。传统的相机独立固定的系统重建难度较大，一般采用棋盘格模板，通过机器人末端变换不同位姿时棋盘格在相机坐标系的姿态和机器人运动参数构建方程组，求解得到标定变换矩阵。这种情况下，标定和求解方程的过程十分复杂，而且相机位置发生变化后需要重新进行标定，标定速度慢，效率低，对于实时性要求高的操作学习而言，这种重建方法难以满足实时性要求。

发明内容

为了解决现有技术中的上述问题，即为了快速确定目标物的视觉信息，本发明的目的在于提供一种执行机构操作空间视觉信息确定方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种执行机构操作空间视觉信息确定方法，所述视觉信息确定方法包括：

获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；

根据各样本，建立视觉信息映射模型；具体包括：

针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；

根据所述目标像素位置信息，确定二值掩码图像；

基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型；

获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；

基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。

可选地，所述根据所述目标物的光学图像、深度图像，确定目标像素位置信息，具体包括：

将所述光学图像、深度图像对齐，采用目标检测算法，确定所述光学图像中的目标位置；

根据所述光学图像中的目标位置，确定所述目标物在所述光学图像、深度图像中的目标像素位置信息。

可选地，所述根据所述目标像素位置信息，确定二值掩码图像，具体包括：

根据所述目标像素位置信息，确定目标位置处的掩码范围；

将掩码范围内的像素值设置为255，将掩码范围外的像素值设置为0，得到二值掩码图像。

可选地，所述基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型，具体包括：