[发明专利]基于视觉和触觉的机械臂抓取方法、系统、装置

权利要求书

1.一种基于视觉和触觉的机械臂抓取方法，其特征在于，该方法包括：

步骤S10，获取待抓取目标的光照强度，若该光照强度在设定阈值范围之内则执行步骤S20，否则执行步骤S50；

步骤S20，基于所述待抓取目标的拍摄图像进行目标图像的提取，得到第一图像，并基于所述待抓取目标对应的全局模型通过视图匹配的方法获取所述待抓取目标的姿态，作为第一姿态；

步骤S30，对所述第一图像进行阴影移除，得到第二图像；

步骤S40，以所述第一姿态为初始姿态，采用迭代最近点算法和高斯-牛顿算法，基于所述待抓取目标对应的全局模型获取与所述第二图像匹配的第二姿态，将所述第二姿态作为最终识别姿态，执行步骤S60；

步骤S50，获取所述待抓取目标的触觉图像，基于预先构建的所述待抓取目标的触觉图像与姿态对应关系知识库，通过触觉图像匹配的方法获取所述待抓取目标的第三姿态，将所述第三姿态作为最终识别姿态；

步骤S60，机械臂根据得到的所述最终识别姿态，以及获取的所述待抓取目标的位置信息进行所述待抓取目标的抓取。

2.根据权利要求1所述的基于视觉和触觉的机械臂抓取方法，其特征在于，步骤S20中“基于所述待抓取目标对应的全局模型通过视图匹配的方法获取所述待抓取目标的姿态”，其方法为：基于所述待抓取目标对应的全局模型，获取通过虚拟球生成的不同视点的2D投影视图的集合，通过图像匹配的方法获取与所述第一图像匹配的视图，并将其对应的姿态作为所述待抓取目标的姿态。

3.根据权利要求1所述的基于视觉和触觉的机械臂抓取方法，其特征在于，步骤S30中“对所述第一图像进行阴影移除”，其方法为：计算第一图像方差，将方差值小于设定阈值的点作为阴影点并移除。

4.根据权利要求3所述的基于视觉和触觉的机械臂抓取方法，其特征在于，所述方差，其计算方法为：

其中，V(x,y)是像素点(x,y)的方差值，g(x,y)表示像素点(x,y)的平均灰度值，I(x,y)表示特定像素点的灰度值，N_V为求取方差的区域的边长，x、y为像素点的二维坐标值。

5.根据权利要求4所述的基于视觉和触觉的机械臂抓取方法，其特征在于，所述平均灰度值，其计算方法为：

其中，N_A为求取平均灰度值的区域的边长。

6.根据权利要求1所述的基于视觉和触觉的机械臂抓取方法，其特征在于，步骤S40中“以所述第一姿态为初始姿态，采用迭代最近点算法和高斯-牛顿算法，基于所述待抓取目标对应的全局模型获取与所述第二图像匹配的第二姿态”，通过融合迭代最近点算法和高斯-牛顿算法得到如下公式，并通多迭代求解达到预设收敛条件时的姿态：

p^t+1＝p^t+Δp

其中，p为姿态估计值，Δp为更新向量，ε为差向量，J_ε为ε相对于p的雅可比矩阵，t、t+1为时刻值，代表任一时刻和任一时刻的下一时刻，T为迭代周期。

7.根据权利要求1所述的基于视觉和触觉的机械臂抓取方法，其特征在于，步骤S50中所述触觉图像，通过将所述待抓取目标放置于触觉传感器表面获取。

8.根据权利要求7所述的基于视觉和触觉的机械臂抓取方法，其特征在于，所述触觉传感器为阵列触觉传感器。