[发明专利]基于视触融合的机器人及其抓取系统和方法

说明书

本发明提供了一种基于视触融合的机器人及其抓取系统和方法，机器人系统包含多自由度的机械臂与多自由度的机械手本体，同时有安装在机器手上的视觉相机和触觉传感器，用于获得两个模态的信息。视觉与触觉感知融合算法利用采集的视觉信息获取目标物体的外部轮廓信息，触觉信息获取目标物体的表面形貌与质地软硬等信息，通过预处理后利用卷积神经网络提取视觉信息的特征和触觉信息的特征，两个模态特征信息融合之后获得的新的特征用于预测物体抓取过程中的滑动概率。通过滑动概率实时调整机器手与物体的接触面积和物体表面的受力大小，在整个过程中保证机器手总以合适的力对物体进行稳定抓取。

技术领域

本发明涉及多模态融合和机器人抓取的技术领域，具体地，涉及基于视触融合的机器人及其抓取系统和方法，尤其涉及一种基于视触融合的机器人抓取系统及方法。

背景技术

随着人工智能技术的发展，智能机器人也开始逐步进入大众视野。一直以来，人们都希望机器人能真正的像人一样能和环境进行交互，因此，机器人的对外界环境的感知就成了智能机器人领域的热点问题。近几年来，得益于计算机视觉和自然语言技术的飞速发展，机器人在处理视觉，听觉和文本信息这几类问题都取得了很大的进步。目标检测，人脸识别，语音导航等任务在已经在机器人得到了充分地运用。但是，在机器人触觉领域，目前的研究确少之又少，一方面是因为触觉信息在整个机器人对外界环境的感知中只占了比较少的一部分，触觉信息在大部分机器人的操作中并不是必须的，另一方面也和触觉信息自身数据结构有关，传统的触觉传感器大部分是采用电信号作为输出，这使得整个机器人操作的过程中不便于处理。

作为机器人末端操作的关键性问题，机器人抓取任务就和机器人触觉感知密切相关。最开始的机器人抓取任务中，对于物体的抓取完全是通过固定的指令控制机器人手末端，以固定的方式抓取物体。但是这种方式很明显忽略了抓取过程中物体的状态信息和物体本身的材质信息，由于不同物体材质不同，有的物体材质坚硬，有的物体材质柔软，如果在抓取的时候都采用相同的力，可能会导致物体损坏，并且，物体在被抓取的过程中，其是否滑动是我们最为关注的，利用物体在抓取过程中的是否滑动的状态信息对机器手末端进行控制，能够保证整个过程抓取过程的稳定性。随着机器人感知技术的发展，触觉信息开始被用于机器人抓取任务之中，用于感知抓取过程中机器手和物体之间的压力变化，但之前的触觉传感器大都是压电传感器，压电传感器通过感受接触面的形变将压力信号转变为电信号，通过电信号进一步对机器手末端进行控制。但电信号的在抓取过程中的处理需要经过一系列的转换，这对控制机器手进行实时的调整又是不利的。

最近几年，多模态融合技术在迅速发。不同模态信息之间存在着信息的互补，在各种任务中利用不同模态信息相互融合，可能会取得比单独利用某个模态信息更好的效果。由此自然想到将视觉信息引入机器人抓取任务中，视觉模态提供抓取过程中物体外部整体图像信息，触觉模态提供抓取过程中机器人和物体接触面的局部信息，进一步通过神经网络实现两个模态信息的融合，利用融合的信息实现机器人对物体的稳定抓取。

在公开号为CN113696186A的专利文献中公开了复杂的环境条件下，基于视触融合的机械臂自主移动抓取方法，主要包括对目标位置的趋近控制和对环境信息的反馈控制。可见光与深度图像基于深度网络完成对目标的识别定位，并调整移动机械不断趋近目标物体；根据传感器模块与外界环境及目标物体的接触力信息，调整机械臂位姿；同时选取目标物体的最佳位姿与合适的抓取力大小，有效防止了机械臂的碰撞损害与失稳，并且减少了被抓物体的严重形变。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于视触融合的机器人及其抓取系统和方法。

根据本发明提供的一种基于视触融合的机器人抓取系统，包括：机器人灵巧手平台，触觉传感器，外部视觉相机，内部计算单元；

所述机器人灵巧手平台与所述触觉传感器和所述外部视觉相机相连接；所述触觉传感器和所述外部视觉相机获取视觉信息和触觉信息，所述视觉信息和所述触觉信息相融合并进入内部计算单元，预测出机器人灵巧手平台抓取过程中物体滑动的概率。