[发明专利]基于多模态信息融合的轮椅机械手系统

摘要

基于多模态信息融合的轮椅机械手系统模拟环境有干扰状态下，人体搜索目标、意图判定、接近目标并准确抓取目标的过程。所述基于多模态信息融合的轮椅机械手系统主要包括多模态信息采集系统a、信息处理融合系统b、决策控制系统c以及执行系统d组成。所述多模态信息采集系统a实现人体多模态信息与周边环境信息采集；所述信息处理融合系统b实现人体意图的判定并最终将特征信息融合；所述决策控制系统c实现对多模态信息采集系统a和信息处理融合系统b采集、预处理信息的综合处理，生成决策信息；所述执行系统d由差动轮椅14和机械臂15组成，实现对决策信息的执行操作即基于人体意图的接近目标运动和准确抓取目标物体。

主权项

1.一种基于多模态信息融合的轮椅机械手系统，其特征在于：基于多模态信息融合的轮椅机械手系统由多模态信息采集系统（a）、信息处理融合系统（b）、决策控制系统（c）和执行系统（d）组成；所述多模态信息采集系统（a）由人体多模态信息采集模块（1）和环境信息采集模块（2）组成，所述环境信息采集模块（2）由双目摄像头（5）组成，实现人体对周围环境视频图像信息的采集；所述决策控制系统（c）由控制器（12）和人机交互系统（13）组成，用于处理来自信息处理融合系统（b）的特征信息，生成供执行系统（d）执行的决策信息；所述执行系统（d）由差动轮椅（14）和机械臂（15）组成，接收决策信息并执行。