[发明专利]执行机构操作空间视觉信息确定方法及系统

权利要求书

1.一种执行机构操作空间视觉信息确定方法，其特征在于，所述视觉信息确定方法包括：

获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；

根据各样本，建立视觉信息映射模型；具体包括：

针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；

根据所述目标像素位置信息，确定二值掩码图像；

分别提取所述光学图像、深度图像、二值掩码图像的特征，得到对应的光学特征向量l_c、深度特征向量l_d、二值掩码特征向量l_m；

基于光学特征向量l_c、深度特征向量l_d、二值掩码特征向量l_m及目标像素位置信息W_p，采用全连接神经网络迭代方法确定映射矩阵K的近似矩阵

根据所述近似矩阵确定映射矩阵K；

根据所述映射矩阵K，确定视觉信息映射模型：

LK＝W；

其中，W表示操作空间内的点P对应的三维坐标，L表示位于操作空间内的点的目标物的图像特征向量；

获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；

基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。

2.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，所述根据所述目标物的光学图像、深度图像，确定目标像素位置信息，具体包括：

将所述光学图像、深度图像对齐，采用目标检测算法，确定所述光学图像中的目标位置；

根据所述光学图像中的目标位置，确定所述目标物在所述光学图像、深度图像中的目标像素位置信息。

3.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，所述根据所述目标像素位置信息，确定二值掩码图像，具体包括：

根据所述目标像素位置信息，确定目标位置处的掩码范围；

将掩码范围内的像素值设置为255，将掩码范围外的像素值设置为0，得到二值掩码图像。

4.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，根据以下公式确定所述近似矩阵

其中，argmin(*)为使(*)达到最小值时的变量函数；L_p＝(l_c，l_d，l_m)，W_p＝(x_p，y_p，z_p)。

5.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，各样本中的三维坐标通过设置执行机构上的传感装置获得。

6.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，所述三维坐标信息为以执行机构基座为原点的位置矢量。