[发明专利]一种基于RealSense的手语识别系统及方法

摘要

本发明请求保护一种基于RealSense的手语识别系统及方法，所述方法包括以下步骤首先通过RealSense获取手部深度图像，并通过该设备获取手部轮廓信息及骨骼各节点相对位置信息；然后根据第一个静态手势动作判断切分方式为主动还是自动，若进行主动手势动作切分则在此手势执行的时间间隔内捕捉手势视频帧序列，并对手势帧图像进行预处理和特征提取；若采用自动手势动作切分则实时地采集视频帧序列并通过分析相邻手势间的运动变化规律自动分析切分点，进行动作切分，再从切分得到的有效元手势序列中提取特征值进行识别。本发明大大减少了冗余信息和识别算法的计算开销，提高了手势识别的准确性和实时性。

主权项

一种基于RealSense的手语识别系统，其特征在于，包括：与数据采集设备相适应的数据接口模块、首个静态手势识别模块、手势动作切分模块、手势特征提取模块及手势识别模块，其中，所述数据接口模块包含了手部轮廓信息接口组件和手部关键骨骼节点相对位置信息接口组件，所述手部轮廓信息接口组件用于从数据采集设备获取手部轮廓信息，所述手部关键骨骼节点相对位置信息接口组件用于从数据采集设备获取手部关键骨骼节点相对位置信息；所述首个静态手势识别模块用于从数据接口模块获取首个手势特征并进行特征匹配，并将匹配结果作为手势动作切分模块的输入；所述手势动作切分模块包含了主动切分组件和自动切分组件，主动切分组件用于当判断为进行主动手势动作切分时，依据时间即系统定时器，将固定时间段内采集到的连续手势视频帧图像划分为一个手势动作；自动切分组件用于当判断为采用自动手势动作切分时，依据手势间的运动变化规律将采集的连续视频帧序列进行动作切分；手势识别特征提取模块中包含了手掌特征提取组件和手指特征提取组件，对上一步输入的切分后的手势动作序列分别提取动作的手掌特征和手指特征，并将提取结果作为下一过程手势识别模块的输入；所述手势识别模块包括了手掌识别模块和手指识别模块以及语义输出模块，所述手掌识别模块对手掌特征进行动作识别，所述手指识别模块对手指特征进行识别，所述语义识别模块用于根据手掌动作识别结果、手指动作识别结果进行语义识别。