[发明专利]复杂光照条件下基于视触融合的机械臂自主移动抓取方法

说明书

本发明公开了复杂光照条件下基于视触融合的机械臂自主移动抓取方法，主要包括对目标位置的趋近控制和对环境信息的反馈控制。该方法在复杂光照条件下，加权融合预选区域的可见光与深度图像并基于深度神经网络完成对目标物体的识别与定位，并驱动移动机械臂不断趋近目标物体；另外根据传感器模块与外界环境及目标物体的接触力信息，调整机械臂位姿；同时融合目标物体的视觉与触觉信息，选取目标物体的最佳抓取位姿与合适的抓取力大小。该方法提升了物体定位精度与抓取准确率，并有效防止了机械臂的碰撞损坏与失稳，且减少了被抓物体的有害形变。

技术领域

本发明属于机器人控制技术领域，具体涉及复杂光照条件下基于视触融合的机械臂自主移动抓取方法。

背景技术

近年来，随着传感器技术、导航技术及深度学习技术的快速发展，机器人技术也取得了长足的进步，其中移动机械臂技术也逐渐广泛应用在自动巡检、农业采摘、仓储分拣等领域。移动机械臂具有自主导航、自主作业能力，相比传统的工业机械臂有更高的灵活性和机动性，能在复杂环境中代替人类自主完成一定的任务。

在相关技术中，难点往往在于目标物体的识别与定位；近几年深度学习得到了快速的发展，涌现出越来越多轻量级、鲁棒性强、分类性能优秀的网络模型。一般在拥有足够的训练样本的情况下，容易获得满足作业要求的网络结构，但是性能依旧会受到使用场景的环境影响，尤其是光照条件。而在后续的作业中，场景环境变化可能较大，同时需要较为精准的目标物体定位，以便进行进一步的操作，如抓取目标物体、旋转开关、分合闸刀等。因此如何复杂光照条件下准确获得目标物体的实际空间位置进行精准操作是一个亟需解决的任务。

另外常见的移动抓取方案均主要利用视觉信息，缺少对环境接触信息的有效利用；区别于视觉信息，触觉信息不受光照等条件影响，同时触觉信息等是对视觉的补充，能反映机器人与外界环境的交互情况；而随着传感器技术的发展，越来越多精密的触觉传感器、六维力传感器等得到了广泛的应用；通过这些传感器信息能有效对目标物体的刚度、形状、重量等进行有效判断，如何利用这些信息帮助机械臂更加友好、柔顺地与目标物体进行交互亦是一个具有挑战的任务。

发明内容

为解决上述问题，本发明公开了一种复杂光照条件下基于视触融合的机械臂自主移动抓取方法，解决了现有技术不能获取目标物体精确三维空间位置，从而实现精准操作的问题；同时引入多传感器模块，提高了机械臂对外界环境的感知能力与友好操作能力。

为达到上述目的，本发明的技术方案如下：

复杂光照条件下基于视触融合的机械臂自主移动抓取方法，其所使用系统包括通讯模块、图像采集模块、移动抓取模块、力传感模块；

进一步地，通讯模块包括安装于远程控制台的上位机系统与安装于移动平台的工控机系统，两系统通过WiFi连接，采用SSH通讯协议；上位机向工控机发送控制指令，工控机向上位机传输所采集的图像与深度信息，以及移动平台与机械臂的位姿信息。

进一步地，图像采集模块包括：安装于移动平台上的深度相机，用于采集所在场景的全局深度与彩色信息；安装于机械臂末端的深度相机，用于采集所在场景的局部深度与彩色信息；两个相机均通过usb3.0接口将数据传输到工控机。

进一步地，移动抓取模块包括：移动平台与7自由度机械臂及其控制器；移动平台搭载激光雷达、超声波模块、红外传感器，其中激光雷达用于环境建图，超声波模块用于导航过程中的避障，红外传感器用于导航过程中的防跌落；机械臂的控制器接收目标位姿与障碍物信息，进行逆运动学解算，规划机械臂运动路径，执行抓取任务。