[发明专利]行人步行姿态监测方法及其系统

权利要求书

1.一种行人步行姿态监测方法，其特征在于，包括：通过部署于街道旁的摄像头获取行人步行时的监控视频；从所述监控视频提取多个时间节点的多个图像帧；将所述多个图像帧分别通过第一卷积神经网络以获得多个特征矩阵；从每个所述特征矩阵中分别提取对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的第一到第五特征矩阵；将所述多个特征矩阵的第一到第五特征矩阵按照时序维度排列为第一到第五特征图；将所述第一到第五特征图分别通过使用三维卷积核的第二卷积神经网络以获得第一到第五特征向量；分别获取所述多个时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度；将各个所述时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度按照样本维度分别排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以获得第六到第十一特征向量；以所述第一到第五特征向量为第一类且所述第六到第十一特征向量为第二类，计算所述第一类中各个特征向量的第一类间一致性指数和所述第二类中各个特征向量的第二类间一致性因数，其中，所述第一类间一致性因数为以所述第一类中特征向量与所述第二类中各个特征向量之间的余弦距离值为幂的自然指数函数值的加权和，所述第二类间一致性因数为以所述第二类中特征向量与所述第一类中各个特征向量之间的余弦距离值为幂的自然指数函数值的加权和；以所述第一类中各个特征向量的第一类间一致性因数分别对所述第一到第五特征向量进行加权以获得加权后第一到第五特征向量，且以所述第二类中各个特征向量的第二类间一致性因数分别对所述第六到第十一特征向量进行加权以获得加权后第六到第十一特征向量；将所述加权后第一到第五特征向量和所述加权后第六到第十一特征向量二维排列为分类特征矩阵；以及将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示行人的步行姿态是否存在异常。

2.根据权利要求1所述的行人步行姿态监测方法，其中，从每个所述特征矩阵中分别提取对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的第一到第五特征矩阵，包括：使用候选框提取网络从每个所述特征矩阵中分别提取对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的第一到第五特征矩阵。

3.根据权利要求2所述的行人步行姿态监测方法，其中，将各个所述时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度按照样本维度分别排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以获得第六到第十一特征向量，包括：将各个所述时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度按照样本维度分别排列为输入向量；使用所述时序编码器的全连接层以如下公式对所述各个输入向量进行全连接编码以提取出所述每个输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，表示矩阵乘；

使用所述时序编码器的一维卷积层以如下公式对所述各个输入向量进行一维卷积编码以提取出所述每个输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：

其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。

4.根据权利要求3所述的行人步行姿态监测方法，其中，以所述第一到第五特征向量为第一类且所述第六到第十一特征向量为第二类，计算所述第一类中各个特征向量的第一类间一致性指数和所述第二类中各个特征向量的第二类间一致性因数，包括：以所述第一到第五特征向量为第一类且所述第六到第十一特征向量为第二类，以如下公式计算所述第一类中各个特征向量的第一类间一致性指数和所述第二类中各个特征向量的第二类间一致性因数；其中，所述公式为：

cos(F_i,F_j)表示特征向量F_i和F_j之间的余弦距离，且表示F_i和F_j分别是属于不同类的特征向量。