[发明专利]一种面向动态视觉传感器的类脑手势序列识别方法

说明书

本发明涉及一种面向动态视觉传感器的类脑手势序列识别方法，包括以下步骤：地址事件表达数据捕获、时空卷积、脉冲池化、学习时空特征、用经过学习的Double‑STS模型识别手势序列。本发明具有高噪音鲁棒性、高精度、高效性、快速收敛性、时间敏感性、仿脑性等特点，可成功识别到手势序列中的每一个手势。

技术领域

本发明涉及类脑手势序列识别方法，具体涉及一种面向动态视觉传感器的类脑手势序列识别方法。

背景技术

近年来，类脑计算逐渐成为一大研究热点。在神经形态视觉领域，通过模拟生物视网膜，研究人员开发出一系列的神经形态视觉传感器，也称为硅眼、事件相机等。不同于输出帧图像的传统相机，神经形态视觉传感器只响应场景中的动态变化，将光强变化编码为异步时空事件流数据，具有低功耗、低时延、高动态范围等优点。因此大多数现有方法无法直接用于处理这类事件流数据。SNN有望实现低功耗的异步事件信息集成，这使其成为探索基于AER的视觉感知中的类脑计算的最佳选择。

目前，一些令人印象深刻的AER特征提取和学习方法已被提出，有两种广泛使用的AER图像特征提取方法，分别是基于Gabor函数和时间平面（Time Surface, TS）的方法。但是，由于原始的基于Gabor的方法是为静止图像设计的，因此这种基于Gabor的方法仍然无法捕获时间域的关键视觉信息。TS作为一种新颖的时空特征，代表了局部空间邻域内最近的时空活动，这种计算方法可能为嘈杂的事件分配较大的权重。

近年来，基于生物启发的SNN监督学习算法涌现，可以将其分类为基于阈值或基于膜电位可塑性规则，尽管基于膜电位的方法已显示出比基于阈值的方法更好的学习效果，但这种方法仍缺乏生物可解释性，并且该规则有时无法找到那样的极值点。因此，找到一种有效，高效和基于阈值的AER图像识别规则变得更加重要。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向动态视觉传感器的类脑手势序列识别方法，可成功识别到手势序列中的每一个手势。

本发明的目的通过如下的技术方案来实现：

一种面向动态视觉传感器的类脑手势序列识别方法，所述方法包括以下步骤：

步骤1 地址事件表达数据捕获：用动态视觉传感器实时读取场景中的动态信息并将其转化为事件流作为模型的输入；

步骤2 时空卷积：对得到的事件流进行时空特征提取，实现事件流的去噪、编码和切片，得到脉冲时空平面模板和有意义的时空特征脉冲流；

所述时空特征提取过程如下：

计算脉冲时空平面：对于任意事件，为探究该事件与它时空邻域内的事件之间的关联度，按照如下公式计算该事件的脉冲时空平面：

（1）；

（2）；

其中，τ和σ分别是时空关联度的时间衰减常数和空间衰减常数；

u和v分别是时间关联度和空间关联度的权重系数；

H是该事件之前τ时间窗内发生的所有事件集合；