[发明专利]一种基于反馈权重卷积神经网络和胶囊神经网络的步态识别方法

摘要

本发明公开了一种基于反馈权重卷积神经网络和胶囊神经网络的步态识别方法，具体包括以下步骤：将一对步态能量图作为网络的输入；从底层开始匹配输入图像的特征；用卷积神经网络提取输入图像的步态特征；通过像素级反馈权重更新输入图像；使用初级胶囊神经网络将数据形状进行重塑；使用改进的胶囊神经网络输出图像的相似性。该方法在数据集较小的情况下具有较强的鲁棒性，能有效地体现身体不同部位对步态识别准确率的重要性，采用向量的方式表示实体，保留了步态特征的等变性，有效提高了跨视角步态识别的准确率。

主权项

1.一种基于反馈权重卷积神经网络和胶囊神经网络的步态识别方法，其特征在于，包括以下步骤：步态能量图的输入；从底层开始匹配输入图像的特征；卷积神经网络提取输入图像的步态特征；通过像素级反馈权重更新输入图像；使用初级胶囊神经网络将数据形状进行重塑；使用改进的胶囊神经网络输出图像的相似性；其中，卷积神经网络提取输入图像的步态特征包括以下步骤：对输入图像进行卷积操作，得到特征图；批量标准化；对卷积后的数据进行池化处理；其中，通过像素级反馈权重更新输入图像包括以下步骤：从特征图中提取特征向量；根据特征向量训练矢量函数；根据矢量函数将特征向量转换为加权矩阵；将矩阵作为输入图像各个感受域的权重；通过加权的感受域更新输入图像；用更新后的输入图像重新训练网络；其中，使用初级胶囊神经网络将数据形状进行重塑包括以下步骤：用8个不同的2D卷积神经网络，继续提取图像步态特征；将数据形状进行重塑，链接成一个向量维度为8的胶囊神经元；其中，使用改进的胶囊神经网络输出图像的相似性包括以下步骤：对输入向量进行仿射变换，公式如下：式中，是输入向量，代表图像中的特征，是图像中某一实体，是特征推出实体的位置向量，是实现这个过程的仿射；对仿射变换后的向量进行加权求和，公式如下：式中，为权重，把不同特征对应同一个实体的位置向量乘上权重再求和，形成一个加权的输出向量；对向量进行缩放操作，公式如下：式中，为一个常量，通常在[0,1]之间取值，为了防止输出为0，将取值为10^‑8，为一个常量，为了放大向量范数，取值为0.5，胶囊神经网络用向量的模值大小衡量某个实体出现的概率，如果模值越大，那么实体出现的概率也越大，采用这个公式作为压缩函数，输出的各个向量模值的和可能会大于1，这样可以提高对步态识别中某个实体的识别准确率；由动态路由算法更新权重，公式如下：式中，为耦合系数，当和两者相似时，两者点积为正，对应的变大，则对应的的权重变大，这里选择迭代的次数为3次；根据向量的模值大小输出图像的相似性；训练胶囊神经网络的损失函数，公式如下：式中是分类，是分类的指示函数（分类存在，为1，否则为0），为上边缘惩罚，惩罚假阴性（没有预测到存在的分类的情况），为下边缘惩罚，惩罚假阳性（预测到不存在的分类的情况），为比例系数。