[发明专利]基于深度神经网络和注意力机制的手势识别方法

说明书

基于深度神经网络和注意力机制的手势识别方法属于电子信息领域。首先，本发明设计在双流算法中引入ECA有效通道注意力增强双流算法对手势关键帧的关注度，并利用双流算法中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征；其次，通过ECA在空间流中选取最高关注度的手势帧，利用单发多框检测器技术提取相应手部姿态特征；最后，将手部姿态特征与双流中提取的人体姿态特征、手势时序特征融合后分类识别手势。本方法在Chalearn2013多模态手势数据集上进行了验证，准确率为66.23％，相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果。

技术领域

本发明属于电子信息领域，是一种基于深度神经网络和注意力机制的手势识别方法，通过该方法可将普通摄像头拍摄到的手势视频数据归类为对应文本含义。

背景技术

手势是人际交往的重要组成部分，也是一种重要的人机交互(Human ComputerInteraction,HCI)方式。通过检测人体手势可以帮助机器更好的理解人体指令，进而完成相应辅助任务。例如，在智能家居环境中就可以通过手势动作控制空调的开关、切换电视屏道；智能驾驶过程中也可以通过手势动作控制汽车内部的一些功能，进而让驾驶员把更多注意力集中于道路本身、降低交通事故的发生。

目前手势识别方法的研究多通过深度传感器或特殊体感设备完成。例如，可以通过数据手套和电极腕带捕获人体手势的运动数据，然后再将该数据传输到计算机的手势识别系统获取对应的手势分类。该类方法虽然具有更好的精准性和稳定性，却需要昂贵的设备；另外，对特定设备的依赖也导致了手势交互环境的限制，因此该类方法只能适用于特殊场景，并不能满足大多数场景下的手势识别任务需求。

基于普通摄像机的视觉手势识别方法具有适用性广、成本较低等优点，并且在许多公共空间也配有监控摄像机，交互环境更多，因此该类方法具有更好的通用性。近年来，深度神经网络的一些方法在计算机视觉领域的几个问题上取得了最优效果。其中，双流算法(Two Stream)在几个标准动作数据集和手势数据集上获得了较好的识别效果，但是该方法仍旧需要较高的计算力支持并且对相似手势的辨别仍旧尚存不足。

注意力机制能够增强深度神经网络对关键信息的学习，弥补双流算法对相似手势识别不足的问题。因此，本发明考虑对双流算法进行改进，建立一种较为通用的基于深度神经网络和注意力机制的手势识别模型。

发明内容

为了解决传统手势识别方法所需设备昂贵、交互场景受限、计算量大的问题，本发明考虑结合有效通道注意力算法(Efficient Channel Attention，ECA)和单阶段目标检测算法(Single Shot MultiBox Detector，SSD)改进双流算法，进而建立一种较为通用的基于视觉的手势识别模型。另外，通过网络传输协议把移动端或其它客户端拍摄到的手势视频数据发送给配有该模型的远程服务器即可获取对应的手势分类。

本发明的主要内容包括如下三个方面：

(1)建立了一种较为通用的动态手势识别模型。首先，设计利用ECA注意力为双流算法的输入数据(手势帧集合和光流帧集合)赋予不同的初始权重；其次，选用SSD目标检测技术从权重最高的手势帧中提取手部姿态特征；最后，将手部姿态特征与双流算法提取的人体姿态特征、手势时序特征融合，进而分类不同手势；

(2)对手势识别算法的时效性做出改进。改进双流算法的光流提取技术和特征提取网络架构，进而提升整体的手势识别速度；

(3)对比分析不同特征融合策略的手势识别效果。通过实验证明三维卷积和三维池化的特征融合方式具有更好的手势识别效果。

发明效果

本发明的效果可以应用于一般的手势识别场景。例如，可以在一些特定的服务器环境中搭建该手势识别模型并且为普通用户提供离线使用该功能的移动端软件，这样就可以在一些社交场景中帮助普通用户理解聋哑人士的简单手势动作含义。