[实用新型]基于多模态信息融合的轮椅机械手系统

摘要

基于多模态信息融合的轮椅机械手系统模拟环境有干扰状态下，人体搜索目标、意图判定、接近目标并准确抓取目标的过程。所述基于多模态信息融合的轮椅机械手系统主要包括多模态信息采集系统a、信息处理融合系统b、决策控制系统c以及执行系统d组成。所述多模态信息采集系统a实现人体多模态信息与周边环境信息采集；所述信息处理融合系统b实现人体意图的判定并最终将特征信息融合；所述决策控制系统c实现对多模态信息采集系统a和信息处理融合系统b采集、预处理信息的综合处理，生成决策信息；所述执行系统d由差动轮椅14和机械臂15组成，实现对决策信息的执行操作即基于人体意图的接近目标运动和准确抓取目标物体。

主权项

1.一种基于多模态信息融合的轮椅机械手系统，其特征在于：基于多模态信息融合的轮椅机械手系统由多模态信息采集系统（a）、信息处理融合系统（b）、决策控制系统（c）和执行系统（d）组成；所述多模态信息采集系统（a）由人体多模态信息采集模块（1）和环境信息采集模块（2）组成，所述环境信息采集模块（2）由双目摄像头（5）组成，实现人体对周围环境视频图像信息的采集；所述执行系统（d）由差动轮椅（14）和机械臂（15）组成，接收决策信息并执行，差动轮椅（14）包括轮组系统I（16）和轮组系统II（17），分别安装于差动轮椅（14）的左右两侧，且均由主轮（18）、差动系统（19）和计米轮系统（20）组成，差动系统（19）安装于主轮（18）轴心处，由内接法兰（21）、外接法兰（22）连接弹簧（23）、双头螺栓（24）、平键（25）、固定端盖（26）、梅花联轴器（27）、编码器（28）和电机控制器（29）组成，内接法兰（21）通过螺栓固定于主轮（18）轮毂轴心处，外接法兰（22）通过平键（25）和内接法兰（21）相连，梅花联轴器（27）通过双头螺栓（24）固定于内接法兰（21）处。