[发明专利]一种面向动态视觉传感器的类脑手势序列识别方法

权利要求书

1.一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述方法包括以下步骤：

步骤1 地址事件表达数据捕获：用动态视觉传感器实时读取场景中的动态信息并将其转化为事件流作为模型的输入；

步骤2 时空卷积：对得到的事件流进行时空特征提取，实现事件流的去噪、编码和切片，得到脉冲时空平面模板和有意义的时空特征脉冲流；

所述时空特征提取过程如下：

计算脉冲时空平面：对于任意事件，为探究该事件与它时空邻域内的事件之间的关联度，按照如下公式计算该事件的脉冲时空平面：

（1）；

（2）；

其中，τ和σ分别是时空关联度的时间衰减常数和空间衰减常数；

u和v分别是时间关联度和空间关联度的权重系数；

H是该事件之前τ时间窗内发生的所有事件集合；

，其中R是空间邻域半径，Y₁、Y₂、X₁、X₂共同构成了脉冲时空平面的空间感受野范围，即以当前事件点的空间坐标为中心，R为半径的一个方形局部区域内，具体地，Y₁是感受野的下边界，Y₂是感受野的上边界，X₁是感受野的左边界，X₂是感受野的有边界；是时空邻域内的事件集合，根据公式可知属于该集合内的事件满足以下三个条件：属于H内，即发生在事件之前的τ时间窗内；属于事件的以R为半径的空间邻域内；与事件具有相同的极性p值；

步骤3 脉冲池化：对步骤2得到的所述时空特征脉冲流做脉冲池化操作，得到关键、稀疏的时空特征脉冲流；

步骤4 学习时空特征：将步骤3提取出的所述关键、稀疏的时空特征脉冲流输入脉冲神经网络中，用脉冲阈值平面可塑性监督学习规则训练出一套具有鉴别手势类别能力的权重；

步骤5 用经过学习的Double-STS模型识别手势序列。

2.根据权利要求1所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述步骤1中，转化的事件流为 ，其作为模型输入后，选择公开手势数据集GESTURE-DVS验证模型性能；

其中表示事件流中的第i个事件，表示该事件的像素地址，表示该事件产生时的时间戳，表示该事件的光强变化极性，表示光强增加的“ON事件”， 表示光强减小的“OFF事件”。