[发明专利]一种基于LSTM网络的步态识别系统及方法

说明书

本发明属于计算机视觉和深度学习技术领域，公开了一种基于LSTM网络的步态识别系统及方法，设置有用于参考视频进行特征提取的CNN+LSTM网络单元，即使用CNN网络单元对参考视频进行特征提取，进一步用LSTM神经网络单元模拟视频的时序信息；设置有用于待识别者步态图片序列进行特征提取的CNN单元，即使用CNN直接对待识别者的图片进行特征提取。本发明从图像到视频的步态识别思路，考虑了视频内的时序信息，使用LSTM模拟视频中相邻帧之间的相关性，从而将视频作为一个整体分析其步态特征。该模型直接以端到端的方式学习视频序列的空间特征和时间特征并同时学习和优化特征表示和相似性度量。

技术领域

本发明属于计算机视觉和深度学习技术领域，尤其涉及一种基于LSTM网络的步态识别系统及方法。

背景技术

目前，现有的步态识别技术大多基于对人体运动视频进行分割，然后从视频序列中提取步态特征，再对参考集和待识别样本之间的步态特征进行匹配完成身份识别。其本质是基于图片到图片的匹配问题，该类方法没有考虑视频中相邻帧之间的时序信息，忽略了相邻帧之间的相关性。基于实际应用场景中可用的往往是人体运动的视频序列。

综上所述，现有技术存在的问题是：现有的步态识别算法将其简单定义为图片之间的步态特征的匹配问题，即将视频分割成帧，再进行目标图片与视频帧之间的匹配完成步态识别。忽略了原始视频中相邻帧之间的相关性，将视频分割成帧也破坏了视频的完整度使其丢失时序信息。

发明内容

针对现有技术存在的问题，本发明提供了一种基于LSTM网络的步态识别系统。

本发明是这样实现的，一种基于LSTM网络的步态识别系统，设置有用于参考视频的图片序列进行特征提取的CNN+LSTM网络单元；

与CNN网络单元相连接，用于局部感知的卷积层单元，该部分主要用于对视频进行步态特征的提取；

与LSTM神经网络单元相连接，用于模拟时序信息的LSTM神经网络单元，该部分对CNN提取的特征进一步进行时序相关性处理，分析视频中相邻帧之间的信息；

与相似性度量子网络相连接，用于进行相似性匹配的相似性度量子网络单元，主要完成对参考视频的步态特征与待识别样本的步态特征之间的匹配及误差计算。

本发明的另一目的在于提供一种所述基于LSTM网络的步态识别方法，所述基于LSTM网络的步态识别方法包括：人体运动图片的密集特征提取，对于视频序列从每个视频帧中提取步态特征，对视频中的时间和空间信息进行编码，之后将图片和视频的步态特征送入相似性度量网络进行步态特征匹配；在每个时间步的输出连接在一起作为视频的特征；将图像和视频的特征推送到相似性度量子网络，学习视频与图像之间步态特征的距离来度量图像与视频的相似程度。

本发明的优点及积极效果为：该基于LSTM网络的步态识别系统提出的从图像到视频的步态识别思路，考虑了视频内的时序信息，使用LSTM模拟视频中相邻帧之间的相关性，从而将视频作为一个整体分析其步态特征。该模型直接以端到端的方式学习视频序列的空间特征和时间特征并同时学习和优化特征表示和相似性度量。该系统更加接近于实际用用场景，并且考虑了时序信息使得匹配的准确度更高，具有更深远的研究价值。本发明提出基于CNN+LSTM的步态识别算法，其特点是使用LSTM对视频中相邻帧的相关性进行分析，在提取视频特征的同时保持了视频完整性。

附图说明

图1是本发明实施例提供的基于LSTM网络的步态识别系统的结构示意图；

图2是本发明实施例提供的步态高斯图的提取过程流程图；

图中：1、CNN网络单元；2、LSTM神经网络单元；3、卷积层单元；4、相似性度量子网络单元。

具体实施方式