[发明专利]多模态协同操控的轮椅控制系统及方法

摘要

本发明涉及控制领域，具体涉及一种多模态协同操控的轮椅控制系统及方法。本发明通过设置手操器、脑电帽、眼动仪、摄像头和语音识别芯片，多途径采集数据来识别用户对轮椅的控制意图，并根据各采集数据对应的控制指令的优先级来确定待执行的控制指令，既丰富了轮椅控制方式，兼顾不同功能障碍的用户自行控制轮椅动作的需求，还使执行的控指令更贴合用户的真实意图。

主权项

1.一种多模态协同操控的轮椅控制系统，其特征在于，所述系统包括控制器、手操器、脑电帽、显示器、眼动仪、摄像头和语音识别芯片，所述控制器分别与所述手操器、脑电帽、显示器、眼动仪、摄像头和语音识别芯片信号连接；/n所述手操器，用于根据用户操作生成手动操控数据，将所述手动操控数据发送至所述控制器；/n所述脑电帽，用于采集用户注视所述显示器上显示的第一指示图标所产生的脑电信号，对所述脑电信号进行识别获得脑电信号识别结果，将所述脑电信号识别结果发送至所述控制器；/n所述眼动仪，用于采集用户注视所述显示器上显示的第二指示图标所产生的眼动数据，将所述眼动数据发送至所述控制器；/n所述摄像头，用于采集用户的头部动作数据，将所述头部动作数据发送至所述控制器；/n所述语音识别芯片，用于采集用户的语音数据，对所述语音数据进行识别获得语音识别结果，将所述语音识别结果发送至所述控制器；/n所述控制器，用于根据所述手动操控数据生成第一控制指令，根据所述脑电信号识别结果生成第二控制指令，根据所述眼动数据生成第三控制指令，根据所述头部动作数据生成第四控制指令，根据所述语音识别结果生成第五控制指令，以及从所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令中确定具有有效执行结果的控制指令，根据预设的第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的优先级，将具有有效执行结果的控制指令中优先级最高的控制指令作为目标控制指令，根据所述目标控制指令控制所述轮椅运动。/n