[发明专利]一种基于增强连接时序分类网络的步态识别方法

说明书

本发明公开了一种基于增强连接时序分类网络的步态识别方法，包括：S1、将步态图片依据时序进行分组，并按组构建非完整周期的子步态能量图；S2、随机抽取预定长度的子步态能量图，依据时序先后构建具有相同序列标签的步态训练数据；通过深度卷积网络和具有时序特征的双向长短期记忆网络来提取步态的静态和动态时序特征；S3、针对周期内变化行走角度的曲线行走和合成的行走条件变化数据进行测试。本发明综合了连接时序分类网络和三元组损失函数的优势，使得我们的步态识别方法对步态周期的依赖性降低，对协变条件具有更强的鲁棒性，能在步态周期不完整的条件下，并且面对步态行走条件实时变化的场景时，都能取得较好的识别效果。

技术领域

本发明属于图像识别技术领域，涉及一种基于增强连接时序分类网络的步态识别方法。

背景技术

在过去20年，基于步态的识别技术得到了长足的发展，广泛应用于视频监控、身份识别、物联网等诸多领域。步态特征提取在步态识别中起着重要的作用，其精度直接影响了步态识别的准确性。通常的，步态特征提取方法包括基于外观和基于模型的特征提取方法。

基于外观的特征提取方法主要是从一个步态周期中提取外观特征，使用人体轮廓作为原始输入数据。步态能量图是通过对一个完整步态周期内的人体轮廓进行平均而构建的能量图，这也是目前使用的比较多的一种较为流行的步态特征表示方法，图像平均过程中对随机噪声进行了抑制具有较强的鲁棒性，在一个周期内不改变步行条件时，GEI简单有效，但是GEI易受各种协变条件的影响，如携带状态、服装、步行速度、视角等。基于GEI的方法能够保留一定的空间信息，但在轮廓平均的过程中往往会丢失连续图像之间的变化特征信息。一些其他的为了减轻图像的不完整带来的影响方法包括步态光流图，步态熵图像，帧差能量图。这一类基于统计的方法是将多帧步态图像数据压缩到了一幅图像上，往往会丢失步态行为重要的时序特征而影响其应用。并且生成能量图需要完整周期的步态图像序列，所以此类方法对步态周期及一些协变条件的实时变化仍然不具有较强的鲁棒性。

基于模型的特征提取方法主要是试图从人体行走序列建立模型来重建人的身体结构，利用构建的模型提取步态参数进行个体识别。因此，基于模型的方法是基于先验知识的。与基于外观的方法相比，基于2D或3D模型的方法能够在一定程度上解决遮挡和旋转等问题，相对于外观变化更具优势。

近年来，基于深度学习的方法广泛应用于语音、图像和视频处理等相关领域，也包括步态识别。尤其是随着深度神经网络网络和大规模步态数据集的发展，步态识别也引起了广泛的关注，利用深度网络来提取视图不变特征也越来越流行。然而，在实际生活中，由于我们的受试者容易受到遮挡或者外界遮挡，往往获取到的步态周期不够完整，而且当受试者在曲线行走而不是直线行走时，提取的步态轮廓的视角一直处于变化中，视角变化是我们众多协变条件最为棘手的一种，因为没办法在实际应用中控制受试者的行走方方向。

目前大多数的步态识别方法都是基于至少一个完整的步态周期，并且在各种协变条件不变的情况下，取得很好地识别性能。然而在大多数公众场所，遮挡是不可避免的。因此，监控摄像头只能捕捉到小部分的步态周期数据，周期内的步行条件变化也十分常见，行走速度也可以在帧与帧之间不断进行变化。但是，到目前为止，解决这一类问题的处理方法不多。

在大多数的步态识别方法中，都隐式的假设受试者沿着直线行走，并且是基于一个完整的步态周期。在不同的步态识别条件下，尤其是在训练中使用随机步态数据，在测试中使用不同的步行变化时步态识别算法还具有一定的挑战，还需要通过更加准确的内在描述符和更加灵活的方法来提高算法的准确率。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于增强连接时序分类网络的步态识别方法，该方法利用连接时序分类方法的优势，通过随机的步态帧进行步态识别，不仅能够减小步态周期不完成带来的影响，而且能够有效抑制各种协变条件对步态识别性能带来的影响，得到一种周期弱相关的步态识别方法。

为了达到上述目的，本发明的技术方案如下：