[发明专利]一种基于深度学习的人体朝向预测方法及装置

说明书

本发明实施例提供了一种基于深度学习的人体朝向预测方法及装置，应用于视频分析技术领域，所述方法包括：获取待检测视频对应的帧序列的每一帧中每一个行人的位置；根据位置和预先建立的行人时空特征预测模型，通过卷积神经网络提取每一个行人的空间特征。根据空间特征和行人时空特征预测模型，通过门结构的循环神经网络提取帧序列的时间特征，得到每一个行人的时空特征。提取时空特征中的方向特征，得到每一个行人的人体朝向。本发明实施例针对行人的空间特征和时间特征进行建模，通过提供丰富的历史连续变化信息来辅助当前帧的预测，提高了人体朝向预测的准确性。

技术领域

本发明涉及视频分析技术领域，特别是涉及一种基于深度学习的人体朝向预测方法及装置。

背景技术

智能视频监控系统在当前城市安防、交通管理、环境监测等领域有着广泛的应用，针对行人行为的监控分析系统在城市的人流量管理、特殊事件防范、交通安全等方面扮演着重要角色。其中，智能视频监控是信号采集与传输、图像处理、计算机视觉、机器学习和模式识别等多学科交叉的研究方向。目前针对行人行为的监控分析系统的研究非常广泛，例如，人群密度估计、人流量统计、行人姿态识别、特殊事件检测等等。然而，行人人体朝向预测是行人行为分析的基础。行人人体朝向预测是指，给定一个视频，根据每一帧的视觉特征、时空信息等，在视频中定位每一个行人的位置，并判断其身体的朝向(如东、西、南、北)。

目前行人人体朝向预测主要包括：根据单帧的图像特征进行人体朝向的判断以及通过视频的连续性利用多帧的时间特征进行行人人体朝向的判断。基于单帧图像对行人人体朝向预测的方法包括：2维方法和3维方法。其中，2维方法指的是仅依靠图片中的颜色特征和纹理特征，或者深度学习提取的高级抽象特征进行人体朝向的判断。例如，利用局部的纹理特征如HOG(Histogram of Oriented Gradient，方向梯度直方图)，LBP(Local BinaryPatterns，局部二值模式)等算子，然后通过SVM(Support Vector Machine，支持向量机)训练出分类的模型，对行人进行朝向的分类。另外，通过对不同模型的融合，得到一个更加精确的后融合模型，进行分类得到更加精确的结果。而3维方法在2维方法的基础上通过引入图像的深度信息，或者同一场景的多角度信息，来增加特征维度，使得模型提取的特征更加丰富，对目标人体朝向描述的更加精确，这样使得3维方法得到了很高的预测精度。基于连续帧的行人人体朝向预测方法包括：通过更新模型给予模型随时间变化而变化的能力，这使得模型在不同的时间拥有不同的参数，从而对行人人体朝向的预测更加精确；利用隐马尔科夫算法对时间序列建模提取时间特征，也提高了行人人体朝向预测的准确性。

可见，上述2维方法虽然可以完成对行人人体朝向的判断，但是由于只考虑到了单帧的信息，该方法对光照和遮挡有很低的鲁棒性。3维方法由于获取深度信息和多角度拍摄信息在实际场景中是不现实且不合理的，所以3维方法很难得到实用。因此，根据单帧的图像特征进行人体朝向的判断由于损失掉了许多有用信息，使得预测结果对光照、遮挡、多向性的鲁棒性较低，导致人体朝向预测的准确性比较低。通过视频的连续性利用多帧的时间特征进行行人人体朝向的判断对行人前进的多向性鲁棒性很低，使得人体朝向预测的准确性比较低，无法适用于实际监控系统中。

发明内容

本发明实施例的目的在于提供一种基于深度学习的人体朝向预测方法及装置，以提高人体朝向预测的准确性。具体技术方案如下：

本发明实施例公开了一种基于深度学习的人体朝向预测方法，包括：

获取待检测视频对应的帧序列的每一帧中每一个行人的位置；

根据所述位置和预先建立的行人时空特征预测模型，通过卷积神经网络提取所述每一个行人的空间特征；

根据所述空间特征和所述行人时空特征预测模型，通过门结构的循环神经网络提取所述帧序列的时间特征，得到所述每一个行人的时空特征；

提取所述时空特征中的方向特征，得到所述每一个行人的人体朝向。