[发明专利]基于视触融合的机器人及其抓取系统和方法

权利要求书

1.一种基于视触融合的机器人抓取系统，其特征在于，包括：机器人灵巧手平台，触觉传感器，外部视觉相机，内部计算单元；

所述机器人灵巧手平台与所述触觉传感器和所述外部视觉相机相连接；所述触觉传感器和所述外部视觉相机获取视觉信息和触觉信息，所述视觉信息和所述触觉信息相融合并进入内部计算单元，预测出机器人灵巧手平台抓取过程中物体滑动的概率。

2.根据权利要求1所述的基于视触融合的机器人抓取系统，其特征在于，所述机器人灵巧手平台包括机器人机械臂和机械灵巧手，所述机械灵巧手安装在所述机器人机械臂的末端，对物体进行抓取。

3.根据权利要求2所述的基于视触融合的机器人抓取系统，其特征在于，所述机器人机械臂的自由度至少为6个，所述机械灵巧手的自由度至少为3个。

4.根据权利要求1所述的基于视触融合的机器人抓取系统，其特征在于，所述外部视觉相机包括usb外部摄像机，所述usb外部摄像机安装在机器人机械臂末端和机械灵巧手的上方，所述usb外部摄像机获取视觉信息，并通过usb端口将视觉信息送入内部计算单元。

5.根据权利要求1所述的基于视触融合的机器人抓取系统，其特征在于，所述触觉传感器黄与机械灵巧手的内侧，所述触觉传感器采用基于光学信号的触觉传感器，基于光学信号的触觉传感器直接输出阵列信息，利用卷积神经网络提取特征。

6.一种基于视触融合的机器人抓取方法，其特征在于，所述方法应用如权利要求1-5任一项所述的基于视触融合的机器人抓取系统，所述方法包括如下步骤：

步骤S1：获取网络训练数据；

步骤S2：训练网络数据；

步骤S3：利用抓取过程中物体的滑动概率进行反馈控制。

7.根据权利要求6所述的基于视触融合的机器人抓取方法，其特征在于，所述步骤S1中的整个网络模型首先需要通过训练，训练数据来自于多次抓取实验，通过在多个常见物体进行多次抓取实验，usb外部摄像机和触觉传感器分别获得抓取过程重点的视觉图像和触觉图像，手动标记抓取过程中物体的状态信息，获得整个网络的训练数据。

8.根据权利要求6所述的基于视触融合的机器人抓取方法，其特征在于，所述步骤S2由步骤S1获取的视觉图像和触觉图像经过预处理之后分别送入卷积神经网络提取图像特征，预处理先要将图像的归一化，之后通过随机翻转，平移等数据增强操作，最后需要将图像裁剪到网络指定的输入大小，采用Transformer作为融合特征的训练网络，在Transformer网络之后，经过一个全连接层，全连接层的输出通过softmax函数，预测输出物体滑动的概率。

9.根据权利要求6所述的基于视触融合的机器人抓取方法，其特征在于，所述步骤S3在抓取过程中，usb外部摄像机获得视觉图像和触觉传感器获得的触觉图像分别送入步骤S2所训练好的模型之中，得到当下物体滑动的概率，以该概率作为控制信号，调整末端灵巧手对物体的抓握的控制。

10.一种机器人，其特征在于，所述机器人使用如权利要求1-5任一项所述的基于视触融合的机器人抓取系统。