[发明专利]一种手势识别方法及识别系统

权利要求书

1.一种手势识别方法，其特征在于，所述方法包括：

获取若干个待识别手势分别对应的时空事件流；

利用时间坍缩机制调整所述时空事件流的时间分辨率，得到识别用事件流；所述识别用事件流包括多个时间步分别对应的事件特征图；

根据每一所述识别用事件流所属的手势类别集合，建立支撑集；所述支撑集包括所述手势类别集合内每一手势类别对应的多个手势和每一所述手势对应的类别标签；

进行预训练，得到预训练后脉冲卷积神经网络和训练后自适应门控网络，利用所述支撑集和所述训练后自适应门控网络对所述预训练后脉冲卷积神经网络进行训练，得到识别用模型；

以所述待识别手势对应的所述识别用事件流作为输入，利用所述识别用模型确定每一所述待识别手势对应的手势类别；

所述预训练具体包括：获取数据集；根据所述数据集，利用N-Way-K-Shot方法建立训练支撑集和训练查询集；以所述训练支撑集作为输入，利用初始自适应门控网络对脉冲卷积神经网络进行预训练，得到预训练后脉冲卷积神经网络；以所述训练查询集作为输入，利用所述预训练后脉冲卷积神经网络计算所述训练查询集中的每一训练手势对应的预测类别；根据所有所述训练手势对应的预测类别和真实类别，利用时间反向传播算法对所述初始自适应门控网络进行训练，得到训练后自适应门控网络；以所述预训练后脉冲卷积神经网络作为下一循环中的脉冲卷积神经网络，以所述训练后自适应门控网络作为下一循环中的初始自适应门控网络，返回“根据所述数据集，利用N-Way-K-Shot方法建立训练支撑集和训练查询集”的步骤，直至迭代次数达到第一预设次数，得到预训练后脉冲卷积神经网络和训练后自适应门控网络；

其中，所述以所述训练支撑集作为输入，利用初始自适应门控网络对脉冲卷积神经网络进行预训练，得到预训练后脉冲卷积神经网络具体包括：将所述训练支撑集中的训练手势在第一时间步对应的事件特征图作为输入数据；利用脉冲卷积神经网络对所述输入数据进行处理，得到损失和梯度；以所述损失和所述梯度作为输入，利用初始自适应门控网络模拟和优化所述脉冲卷积神经网络的可学习参数的实时动态更新过程，并将更新后的可学习参数传递给所述脉冲卷积神经网络，得到更新后的脉冲卷积神经网络；以下一时间步对应的事件特征图作为下一循环中的输入数据，并以所述更新后的脉冲卷积神经网络作为下一循环中的脉冲卷积神经网络，返回“利用脉冲卷积神经网络对所述输入数据进行处理，得到损失和梯度”的步骤，直至最后一个时间步对应的事件特征图已被输入至所述脉冲卷积神经网络后，迭代结束，此时得到的所述更新后的脉冲卷积神经网络即为预训练后脉冲卷积神经网络；

所述利用所述支撑集和所述训练后自适应门控网络对所述预训练后脉冲卷积神经网络进行训练，得到识别用模型具体包括：在所述支撑集中随机选取若干个手势类别，并随机选取每一所述手势类别对应的若干个手势；将所有所述手势在第一时间步对应的事件特征图作为输入数据；利用预训练后脉冲卷积神经网络对所述输入数据进行处理，得到损失和梯度；以所述损失和所述梯度作为输入，利用训练后自适应门控网络对所述预训练后脉冲卷积神经网络的可学习参数进行更新，得到更新后的脉冲卷积神经网络；以下一时间步对应的事件特征图作为下一循环中的输入数据，并以所述更新后的脉冲卷积神经网络作为下一循环中的预训练后脉冲卷积神经网络，返回“利用预训练后脉冲卷积神经网络对所述输入数据进行处理，得到损失和梯度”的步骤，直至最后一个时间步对应的事件特征图已被输入至所述预训练后脉冲卷积神经网络后，一次迭代结束；返回“在所述支撑集中随机选取若干个手势类别，并随机选取每一所述手势类别对应的若干个手势”的步骤，直至迭代次数达到第二预设次数后，迭代结束，得到识别用模型。

2.根据权利要求1所述的方法，其特征在于，所述获取若干个待识别手势分别对应的时空事件流具体包括：

利用动态视觉传感器分别对若干个待识别手势进行拍摄，得到若干个所述待识别手势分别对应的时空事件流；

或者，获取若干个待识别手势的手势图像，通过脉冲编码方法将所述手势图像转换为所述待识别手势对应的时空事件流。