[发明专利]一种基于增强现实的脑控机械臂共享控制系统及其方法

说明书

本发明涉及一种基于增强现实的脑控机械臂共享控制系统及其方法，该系统包括计算机视觉装置、稳态视觉诱发电位脑‑机接口装置、共享控制装置、增强现实装置和机械臂，所述计算机视觉装置用于识别工作空间中物体的颜色和位置信息；增强现实装置用于产生视觉刺激信号并作用于使用者；稳态视觉诱发电位脑‑机接口装置获取使用者的脑电信号并转换为视觉人脑控制命令；共享控制装置采用共享控制策略对机械臂进行控制；机械臂在共享控制装置的控制下实现目标物体抓取。本发明采用人脑控制命令与基于计算机视觉的机械臂自主控制相结合实现控制功能，实现了更自然的人机交互，减少了使用者的心理负担，增强机械臂在复杂环境中的适用性，从而提高整个系统的实用性和可靠性。

技术领域

本发明属于机器人技术领域，尤其是一种基于增强现实的脑控机械臂共享控制系统及其 方法。

背景技术

无论残疾人还是老年人，在日常生活中均面临诸多不便。特别是对于患有严重运动障碍 的人群而言，能够独立生活、重返社会成为其迫切需求。

近年来，机器人辅助装置越来越多地用于改善残疾人或老年人的独立性和生活质量，可 以实现康复训练、移位助行、喂食照料、清洁护理、辅助站立等功能。而现有的机器人辅助 装置通常采用传统的人机接口，如鼠标、键盘、语音等，需要使用者具有残余的运动能力。 而患有严重运动障碍的人群因不具有操控传统人机接口所需的运动控制能力，机器人的操控 对其具有较大的挑战。脑-机接口是在人脑与外部设备之间建立一种全新的不依赖于外周神经 和肌肉的输出通道，从而实现人脑与外部环境的直接交互。将脑-机接口引入机器人的控制中， 即所谓的脑控机器人，有望解决此问题。

上肢因涉及较多日常活动如吃饭、穿衣等，在每天的生活中扮演着重要的作用。开发一 种能够给予使用者一定的抓取物体的能力的脑控机械臂就显得尤为重要。目前，脑控机械臂 的研究尚处于探索阶段。现有研究大多采用脑-机接口直接控制机械臂的控制策略，仅仅验证 了脑控机械臂的可行性。而直接控制策略需要使用者频繁地发送命令，进而容易造成使用者 身心疲劳。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理、使用方便且准确可靠的基 于增强现实的脑控机械臂共享控制系统及其方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于增强现实的脑控机械臂共享控制系统，包括计算机视觉装置、稳态视觉诱发电 位脑-机接口装置、共享控制装置、增强现实装置和机械臂，所述计算机视觉装置用于识别工 作空间中物体的颜色和位置信息；所述增强现实装置用于产生视觉刺激信号并作用于使用者； 所述稳态视觉诱发电位脑-机接口装置获取使用者的脑电信号并转换为视觉人脑控制命令；所 述共享控制装置采用共享控制策略对机械臂进行控制；所述机械臂在共享控制装置的控制下 实现目标物体抓取。

所述增强现实装置采用Hololens全息眼镜。

所述计算机视觉装置通过固定在机械臂的末端效应器上的摄像头对工作空间进行拍摄。

增强现实装置与稳态视觉诱发电位脑-机接口装置通过UDP协议实现同步；所述共享控制 装置通过TCP/IP协议与机械臂进行通信。

所述稳态视觉诱发电位脑-机接口装置通过采集使用者枕区O1、Oz、O2位置的测量电极 获取脑电信号，测量电极包括安装在左乳突处的参考电极以及右乳突处的地电极。

一种基于增强现实的脑控机械臂共享控制系统的控制方法，包括以下步骤：

步骤1、计算机视觉装置识别工作空间中物体的颜色和位置信息；

步骤2、通过增强现实装置诱发稳态视觉诱发电位，通过稳态视觉诱发电位脑-机接口获 取脑电信号并经分析处理后输出人脑控制命令；