[发明专利]一种基于超图模型的事件相机步态识别方法

权利要求书

1.一种基于超图模型的事件相机步态识别方法，其特征在于，步骤如下：

(1)超图构建

事件数据ε用以下公式进行表达：

其中，(x_i，y_i)是事件的像素坐标，t_i是事件的时间戳，p_i＝±1是事件的极性，i表示事件数据中的第i个事件点；将(x_i，y_i，t_i)视为事件点的三维坐标，p_i为每个事件点的节点特征；

超图数据的主要元素有两个：节点和超边；将降采样后的事件点的节点特征看作超图中的节点，以此构造节点之间的超边；给定超图中的节点特征表示F＝f₁，f₂，…，f_N，其中f_i表示某样本中第i个事件点的特征，根据两个特征之间的距离构建超图；以顶点v表示超图中的样本事件点，超边e表示包含灵活数量事件点的集合，超图公式化为H＝{V，E}，其中表示超图中N个节点集合，表示超图中的M条超边集合；超图的顶点集和超边集定义如下：

Con(e)＝{v₁，v₂，…，v_N}    (2)

Adj(v)＝{e₁，e₂，…，e_M}    (3)

其中，Con(e)表示超边e的顶点集，Adj(v)表示包含顶点v的所有超边组成的超边集，N和M是超边e中的顶点数和包含顶点v的超边数；计算两个顶点v_i＝(x_i，y_i，t_i，p_i)和v_j＝(x_j，y_j，t_j，p_j)欧氏距离，如果两个顶点在时空距离R内，即D(v_i，v_j)≤R，则生成对应的边，否则两个节点之间不存在边；欧氏距离表示如下：

其中，表示节点v_i的第k个特征；

(2)基于混合超图卷积网络的步态识别

提出一个融合超图卷积、注意力机制和残差模块的超图神经网络模型；

1)超图卷积

超图结构中定义卷积操作的关键是衡量两个顶点之间的转移概率，通过转移概率在图神经网络中传播每个顶点的嵌入特征；超图卷积的概率转移被如下定义：

其中，表示网络第l层第i个节点的特征，σ是非线性激活函数，N是节点数量，M是超边数量，是由超边和节点组成的关联矩阵，是每条超边e∈E被分配的正值权重，是第l层和第l+1层之间的权重矩阵，表示超图的关联矩阵；关联矩阵被写为：

H^(l+1)＝σ(HWH^Tv^(l)P)    (6)

其中，H^(l+1)和H^(l)分别对应第l+1层和第l层的输入；

添加一个对称的归一化操作，以规范化公式中的特征约束，并得出了最终的公式表示：

H^(l+1)＝σ(D^-1/2HWB^-1H^TD^-1/2H^(l)P)    (7)

其中，D和B分别表示超图中顶点和超边的度矩阵；

通过顶点之间的高阶关系建立和局部聚类结构，实现顶点之间的有效信息传播；

2)超图注意力网络；

引入了超图注意力，对于给定的顶点v_i及其相关的超边v_j，注意力得分为：

其中，σ是非线性激活函数，N_i是顶点v_i的领域集，sim表示相似性函数，用于计算两个顶点之间的成对相似性，定义如下：

sim(v_i，v_j)＝α^T[v_i||v_j]    (9)

其中，α表示输出标量相似性值的权重向量，[，||，]表示级联操作；

3)超图池化模块和残差模块；

将事件点的坐标像素范围限定为[128×128×128]，最大池化操作将每个维度按照池化尺寸d进行切分，经过最大池化操作的图在每个坐标维度的最大事件数量是在训练期间，通过反向传播训练数据的交叉熵损失来更新参数；在测试期间，预测事件数据的标签以评估模型的分类性能；当事件数据中存在多种关系信息时，通过超边集的构建将它们结合起来，将各种超边融合在一起，以建模数据上的复杂关系。