[发明专利]一种双目视觉结合深度学习的物体抓取方法

权利要求书

1.一种双目视觉结合深度学习的物体抓取方法，其特征在于，包括：采集双目图像；对左右图像分别进行目标识别，获得目标区域信息；根据各目标区域信息，计算区域特征值，并进行左右目标的匹配；使用左右图像的目标区域信息及匹配关系，计算目标位姿；机械执行机构进行抓取。

2.根据权利要求1所述的双目视觉结合深度学习的物体抓取方法，其特征在于，所述采集双目图像包括：对双目相机进行立体标定；通过双目相机的左摄像头和右摄像头分别获取目标物体的左图像和右图像；对左图像、右图像进行极线校正，使校正后的左图像和右图像行对准。

3.根据权利要求1所述的双目视觉结合深度学习的物体抓取方法，其特征在于，所述对左右图像分别进行目标识别，获得目标区域信息包括：图像尺寸裁剪至指定尺寸；输入到自适应深度学习算法进行处理；输出检测结果，作为后续匹配的基础。

4.根据权利要求3所述的自适应深度学习算法，其特征在于，所述自适应深度学习算法基于经典的目标检测算法SSD，在原算法CONV4_3层，利用FPN算法思想对多级Feature Maps进行上采样以提高小目标检测精度。

5.根据权利要求1所述的双目视觉结合深度学习的物体抓取方法，其特征在于，所述根据各目标区域信息，计算区域特征值，并进行左右目标的匹配包括：根据左右图像的区域信息计算参考锚点；根据锚点计算每一块区域信息的特征信息P；左右目标匹配。

6.根据权利要求5所述的根据左右图像的区域信息计算参考锚点，其特征在于，锚点的计算藉由各区域大小及其中心点完成，具体方法如式：其中Qi为目标区域尺寸，Ki为目标区域中心。

7.根据权利要求5所述的根据锚点计算每一块区域信息的特征信息P，其特征在于，包括：由锚点信息(x₀，y₀)及区域信息(x，y，w，h，t)，计算坐标偏移信息(x-x₀，y-y₀)及区域信息(w*h，t)，共同组成特征信息P(x-x₀，y-y₀，w*h，t)。

8.根据权利要求5所述的左右目标匹配，其特征在于，包括：将特征信息P视为四维向量，分别乘以相应的权重，然后通过计算两个向量间的欧式距离视为其最终的差异度，根据差异度使用WTA(Winner Take ALL)算法获得匹配组合。