[发明专利]一种基于增强现实的脑控机械臂共享控制系统及其方法

权利要求书

1.一种基于增强现实的脑控机械臂共享控制系统，其特征在于：包括计算机视觉装置、稳态视觉诱发电位脑-机接口装置、共享控制装置、增强现实装置和机械臂，所述计算机视觉装置用于识别工作空间中物体的颜色和位置信息；所述增强现实装置用于产生视觉刺激信号并作用于使用者；所述稳态视觉诱发电位脑-机接口装置获取使用者的脑电信号并转换为视觉人脑控制命令；所述共享控制装置采用共享控制策略对机械臂进行控制；所述机械臂在共享控制装置的控制下实现目标物体抓取。

2.根据权利要求1所述的一种基于增强现实的脑控机械臂共享控制系统，其特征在于：所述增强现实装置采用Hololens全息眼镜。

3.根据权利要求1所述的一种基于增强现实的脑控机械臂共享控制系统，其特征在于：所述计算机视觉装置通过固定在机械臂的末端效应器上的摄像头对工作空间进行拍摄。

4.根据权利要求1所述的一种基于增强现实的脑控机械臂共享控制系统，其特征在于：增强现实装置与稳态视觉诱发电位脑-机接口装置通过UDP协议实现同步；所述共享控制装置通过TCP/IP协议与机械臂进行通信。

5.根据权利要求1所述的一种基于增强现实的脑控机械臂共享控制系统，其特征在于：所述稳态视觉诱发电位脑-机接口装置通过采集使用者枕区O1、Oz、O2位置的测量电极获取脑电信号，测量电极包括安装在左乳突处的参考电极以及右乳突处的地电极。

6.一种如权利要求1至5任一项所述基于增强现实的脑控机械臂共享控制系统的控制方法，其特征在于包括以下步骤：

步骤1、计算机视觉装置识别工作空间中物体的颜色和位置信息；

步骤2、通过增强现实装置诱发稳态视觉诱发电位，通过稳态视觉诱发电位脑-机接口获取脑电信号并经分析处理后输出人脑控制命令；

步骤3、共享控制装置根据稳态视觉诱发电位脑-机接口发送的意图抓取物体的人脑控制命令以及计算机视觉识别物体的颜色和位置信息，采用先高级控制再直接控制的共享控制策略操控机械臂来完成目标物体抓取。

7.根据权利要求6所述的一种基于增强现实的脑控机械臂共享控制系统的控制方法，其特征在于：所述步骤1的具体实现方法包括以下步骤：

⑴将计算机视觉装置的摄像头固定在机械臂的末端效应器上，在末端效应器上升到一定高度时对工作空间进行拍摄，截取其中一帧图像作为原始图像；

⑵对原始图像进行图像复原处理，减少因光照带来的影响，使图像中的边界更加清晰，颜色更加接近实际，将其作为复原图像保存；

⑶将复原图像转换到HSV空间中进行处理，调整每一种颜色的阈值，通过颜色阈值来识别工作空间中物体的颜色；通过摄像头拍照高度和工作空间中标记点的实际坐标，计算出工作空间中物体的位置信息。

8.根据权利要求6所述的一种基于增强现实的脑控机械臂共享控制系统的控制方法，其特征在于：所述步骤2增强现实装置利用不同的刺激频率编码不同的意图命令，该增强现实装置的刺激界面由两级菜单组成，第一级菜单供使用者发送意图操作某种颜色的物体的命令，第二级菜单供使用者发送直接操控机械臂的意图命令。

9.根据权利要求6所述的一种基于增强现实的脑控机械臂共享控制系统的控制方法，其特征在于：所述步骤2稳态视觉诱发电位脑-机接口采集使用者的大脑顶区O1、Oz、O2三导联的脑电数据，并利用典型相关分析方法检测稳态视觉诱发电位的频率成分，以识别使用者的意图命令。

10.根据权利要求6所述的一种基于增强现实的脑控机械臂共享控制系统的控制方法，其特征在于：所述步骤3中共享控制装置的处理方法为：

⑴根据稳态视觉诱发电位脑-机接口的第一级菜单输出的意图命令以及计算机视觉提供的物体的颜色和位置信息，形成机器人命令，并通过TCP/IP协议传送至机械臂，机械臂自主地移动至目标物体附近的上方区域；

⑵根据稳态视觉诱发电位脑-机接口的第二级菜单输出的意图命令，形成机器人命令，并通过TCP/IP协议传送至机械臂，直接控制机械臂移动完成抓取。