[发明专利]一种基于机器视觉的脑控移动抓取机器人系统及控制方法

说明书

本发明公开了一种基于机器视觉的脑控移动抓取机器人系统及控制方法。本系统由信息采集模块经中央处理模块连接移动与抓取模块构成。在信息采集模块中，通过脑电帽采集由患者注视人机交互界面诱发的稳态视觉诱发电位脑电信号，同时，通过深度相机实时采集图像的RGB‑D信息。采集的脑电信息在脑电信号处理单元中经过预处理、特征提取与分类识别解码出患者的意图，并将意图转化为控制指令；采集的图像信息经过图像识别与定位单元得到目标的种类与位姿。移动与抓取模块中机器人移动单元接收到启动指令后移动到目标区域；机械臂抓取单元会订阅带有抓取位姿信息的话题，在接收到抓取指令后自主抓取患者指定物品，最终帮助肢体功能障碍人士获取日常生活物品。

技术领域

本发明涉及一种移动抓取机器人系统及其方法，特别涉及一种脑机接口控制移动抓取机器人系统及方法，还特别涉及一种基于机器视觉的脑控移动抓取机器人系统及方法，应用于患有肢体功能障碍人士的生活辅助器具领域，还应用于助老助残型机器人领域。

背景技术

针对肢体功能障碍人士的辅助器具，有传统的拐杖、一般或电动轮椅和假肢等，然而这些器具只适用于一些肢体残障程度低的人士，对于中重度残障人士如脑卒中于肌肉硬化导致的瘫痪患者等人群并不友好。市场上也存在一些先进的辅助器具如脑控轮椅、特制助行器和上下肢康复训练器等辅助特殊人群康复与生活。然而如何帮助中重度残障人士自行获取远处的生活所需物品，是一项极具技术难度与现实社会意义的工作。

发明内容

为了解决现有技术和社会问题，本发明的目的在于克服现有技术存在的难点，提供一种基于机器视觉的脑控移动抓取机器人系统及方法，辅助中重度残障人士独立、简便地获取远处想要的生活物品。本发明融合脑机接口、机器视觉和机器人三种先进技术，让头部佩戴脑电帽的患者通过注视人机交互界面中对应的刺激块，表达他们的意图，控制机器人移动到物品摆放区抓取他们想要获得的物品。本发明通过脑机接口人机共享控制策略，降低了人机交互时长，只需两次人机交互即可实现对指定物品的抓取，操作简便、智能化程度高、适用性强。本发明可以有效地降低家庭照料成本，增强中重度肢体残障人士的自理能力，对完善残疾人社会保障体系具有重要意义。

为达到上述发明创造目的，本发明采用如下技术方案：

一种基于机器视觉的脑控移动抓取机器人系统，由信息采集模块经中央处理模块连接移动与抓取模块构成；

所述信息采集模块包括脑电信号采集单元和图像信息采集单元。脑电信号采集单元中用户通过注视人机交互界面中显示的闪烁频率不同的目标区块，诱发SSVEP脑电信号，头部佩戴的脑电帽会采集位于大脑枕叶区视觉皮层中的脑电信号，采集的信号放大后通过无线传输到中央处理模块的计算机单元。图像信息采集单元中利用深度相机实时采集图像的RGB和深度信息，并通过USB传输到中央处理模块的计算机单元。

所述中央处理模块包括计算机单元、脑电信号处理单元和图像识别与定位单元。计算机单元接收的SSVEP脑电信号会经过脑电信号处理单元进行低频滤波，然后利用滤波器组典型性相关分析(Filter Bank Canonical Correlation Analysis,FBCCA)算法对信号特征提取、分类识别解码患者的意图，并将解码出的意图通过人机交互界面给用户视觉听觉反馈，在用户确认解码出的意图正确后，产生控制指令。计算机单元接收的图像信息会通过图像识别与定位单元将图像的RGB信息输入到Faster-RCNN(Faster Region-Convolutional Neural Networks)标检测模型中识别物品的种类；将图像的深度信息输入到生成性抓取卷积神经网络(Generative Grasping Convolutional Neural Networks,GG-CNN)中生成最佳抓取位姿。