[发明专利]一种脑控机械臂助餐系统及方法

权利要求书

1.一种脑控机械臂助餐系统，其特征在于，该系统包括：

视觉刺激子系统，包括显示屏，用于产生对应机械臂自由度的刺激源；

脑电采集子系统，用于采集用户受到所述刺激源刺激后产生的SSVEP信号，经信号处理后作为机械臂控制的源数据；

双目摄像头定位子系统，包括安装在机械臂前端的双目摄像头，用于自动拍摄RGB图像，并通过聚类算法和D-H法计算目标物体点相对于机械臂的坐标信息；

机械臂控制子系统，包括机械臂，所述机械臂前端安装有双目摄像头和餐具，用于接收所述源数据并进行实时滤波，对所需波段信号进行采样，通过基于小波变换的典型相关分析法，甄别视觉诱发刺激频率，根据所述刺激频率确定用户脑控选择的刺激源，控制机械臂到目标物体点的大致位置；获取双目摄像头定位子系统生成的目标物体相对于机械臂的坐标信息，控制机械臂到达目标物体的精确位置，自动使用餐具获取餐盘中的食物；

所述双目摄像头定位子系统包括：

调参单元，用于对双目摄像头进行外参校正，使得左右视图的成像原点坐标一致，在水平上严格对齐；

双目摄像头，设置在机械臂前端，用于在每次机械臂移动时，拍摄进入视角的目标物体RGB图像，并进行图像极线校正，将校正后的RGB图像信号传给图像处理单元；

图像处理单元，用于获取极线校正后的RGB图像信号，通过SGBM算法将RGB图像转化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均值D_e，当D_e小于深度阈值时，提示进入精确定位阶段；

语音提示单元，用于在所述图像处理单元判断D_e小于深度阈值时，发出提示音；

计算单元，用于在进入精确定位阶段后，生成以所述深度图中目标物体各点的深度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所述像素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对于极坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息，解算机械臂关节到达目标点位时每个舵机的转动角度。

2.根据权利要求1所述的脑控机械臂助餐系统，其特征在于：所述刺激源的频段为6.7-30Hz。

3.根据权利要求1或2所述的脑控机械臂助餐系统，其特征在于：所述刺激源的翻转频率的间隔大于0.5Hz。

4.根据权利要求1所述的脑控机械臂助餐系统，其特征在于：所述视觉刺激子系统采用牛顿环收缩-扩张运动刺激范式。

5.根据权利要求1所述的脑控机械臂助餐系统，其特征在于：所述脑电采集子系统包含多通道干电极采集器，用于实时记录用户大脑后枕叶O1、O2、Oz三个点的SSVEP信号。

6.根据权利要求1所述的脑控机械臂助餐系统，其特征在于：所述脑电采集子系统还包含蓝牙模块，用于将生成的源数据传输给所述机械臂控制子系统。

7.根据权利要求1所述的脑控机械臂助餐系统，其特征在于，所述机械臂控制子系统包括：

预处理单元，用于对获取的所述源数据进行预处理，所述预处理包括滤波、去噪；

信号提取单元，用于对预处理单元预处理后的源数据进行多层小波分解，根据信号的特性与分析要求，匹配最佳的对应频带和信号频谱，重构出SSVEP处于刺激源的频段的信号，将其与参考信号做典型相关分析法，得到用户选择的刺激源，获取所选刺激源对应的机械臂自由度序号和脑控方向；

控制单元，用于获取所述机械臂自由度序号和脑控方向，控制对应自由度序号的舵机向所述脑控方向移动直至目标物体点的大致位置；获取双目摄像头定位子系统生成的目标物体的球体模型相对于机械臂底座的坐标信息、每个舵机的转动角度，根据聚点模型计算目标物体的中心点坐标，根据所述目标物体的中心点坐标是否处于镜头中心来驱动舵机微调，直至目标物体的中心点落在镜头的中心，且包络线充满镜头，表示精确定位完成，机械臂自动使用餐具获取餐盘中的食物。

8.一种脑控机械臂助餐方法，其特征在于，该方法包括：

(1)视觉刺激子系统按照机械臂自由度序号产生不同频率的刺激源，由显示屏进行显示；

(2)脑电信号采集用户受到所述刺激源刺激后产生的SSVEP信号，经过信号放大、A/D转换后作为源数据传输给机械臂控制子系统；

(3)机械臂控制子系统对所述源数据依次进行滤波、去噪、多层小波分解，重构出处于刺激源频段的信号，将其与参考信号做典型相关分析法，得到用户选择的刺激源，控制机械臂到目标物体点的大致位置；

(4)双目摄像头定位子系统自动拍摄RGB图像，并通过聚类算法和D-H法计算目标物体点相对于机械臂的坐标信息，将坐标信息发送给机械臂控制子系统；

(5)机械臂控制子系统根据收到的坐标信息控制机械臂到达目标物体的精确位置，自动使用餐具获取餐盘中的食物；

其中，所述步骤(4)包括：

(41)所述双目摄像头定位子系统的调参单元对双目摄像头进行外参校正，使得左右视图的成像原点坐标一致，在水平上严格对齐；

(42)所述双目摄像头在每次机械臂移动时，拍摄进入视角的目标物体RGB图像，并进行图像极线校正，将校正后的RGB图像信号传给所述双目摄像头定位子系统的图像处理单元；

(43)所述双目摄像头定位子系统的图像处理单元通过SGBM算法将校正后的RGB图像转化为视差图，在进行空洞填充后转换为深度图，计算所述深度图中目标物体的深度均值D_e，当D_e小于深度阈值时，语音提示单元发出提示音，表示进入精确定位阶段；

(44)所述双目摄像头定位子系统的计算单元生成以所述深度图中目标物体各点的深度值为像素值的像素图像，通过DBSCAN聚类算法，除去轮廓中多余的杂散特征点，对所述像素图像进行描边，生成具有包络线的聚点模型；根据D-H法计算机械臂末端执行器相对于极坐标系位姿，将这组信息转换为目标物体的球体模型相对于机械臂底座的坐标信息，解算机械臂关节到达目标点位时每个舵机的转动角度，将所述坐标信息和转动角度发送给机械臂控制子系统。