[发明专利]一种手势识别方法及识别系统

说明书

本发明涉及一种手势识别方法及识别系统，先获取若干个待识别手势分别对应的时空事件流，并利用时间坍缩机制调整时空事件流的时间分辨率，得到识别用事件流。再利用支撑集和训练后自适应门控网络对预训练后脉冲卷积神经网络进行训练，得到识别用模型。最后以待识别手势对应的识别用事件流作为输入，利用识别用模型确定每一待识别手势对应的手势类别。本发明所提供的手势识别方法及识别系统，通过采用支撑集和训练后自适应门控网络对预训练后脉冲卷积神经网络进行训练，能够在手势样本较少的约束下，快速捕捉并学习新手势的动态变化特征，有效缓解样本依赖并提高手势识别的适用范围，实现小样本约束下的手势识别。

技术领域

本发明涉及手势识别技术领域，特别是涉及一种手势识别方法及识别系统。

背景技术

随着人工智能的高速发展，神经形态计算逐渐成为一大研究热点，引起了国内外研究学者们的广泛关注。近年来，研究人员通过模拟生物视网膜对光信号的动态脉冲响应机制，开发出一系列的神经形态视觉传感器，也称为硅眼、事件相机等。不同于输出图像帧的传统相机，该传感器只响应场景中的动态变化，将外界视觉信息编码为异步的时空脉冲事件流，具有低功耗、低延时、高动态范围以及高时间分辨率等优点，有助于实现动态场景下手势的快速高效识别。

然而，大多数针对图像帧的手势识别方法无法直接处理这类事件流数据，需要建立一套新的神经形态视觉信息处理理论和方法，实现感知动态环境的生物视觉能力。现有面向神经形态视觉传感器的手势识别方法通常需要大量的手势样本进行训练。当样本数量不足时，模型经常遭受过拟合的问题，难以在未来的感知中识别出这些手势的变化。目前少有工作致力于解决小样本限制下的神经形态手势识别问题。基于此，亟需一种能够在小样本限制下对手势进行识别的方法。

发明内容

本发明的目的是提供一种手势识别方法及识别系统，能够在手势样本较少的约束下，对手势进行识别，有效缓解样本依赖并提高手势识别的适用范围。

为实现上述目的，本发明提供了如下方案：

一种手势识别方法，所述方法包括：

获取若干个待识别手势分别对应的时空事件流；

利用时间坍缩机制调整所述时空事件流的时间分辨率，得到识别用事件流；所述识别用事件流包括多个时间步分别对应的事件特征图；

根据每一所述识别用事件流所属的手势类别集合，建立支撑集；所述支撑集包括所述手势类别集合内每一手势类别对应的多个手势和每一所述手势对应的类别标签；

利用所述支撑集和训练后自适应门控网络对预训练后脉冲卷积神经网络进行训练，得到识别用模型；

以所述待识别手势对应的所述识别用事件流作为输入，利用所述识别用模型确定每一所述待识别手势对应的手势类别。

一种手势识别系统，所述系统包括：

采集模块，用于获取若干个待识别手势分别对应的时空事件流；

调整模块，用于利用时间坍缩机制调整所述时空事件流的时间分辨率，得到识别用事件流；所述识别用事件流包括多个时间步分别对应的事件特征图；

建立模块，用于根据每一所述识别用事件流所属的手势类别集合，建立支撑集；所述支撑集包括所述手势类别集合内每一手势类别对应的多个手势和每一所述手势对应的类别标签；

获取模块，用于利用所述支撑集和训练后自适应门控网络对预训练后脉冲卷积神经网络进行训练，得到识别用模型；

确定模块，用于以所述待识别手势对应的所述识别用事件流作为输入，利用所述识别用模型确定每一所述待识别手势对应的手势类别。

根据本发明提供的具体实施例，本发明公开了以下技术效果：