[发明专利]一种基于深度学习技术的计算机视觉的实时多人姿态估计方法

说明书

本发明适用于视频处理技术领域，提供了一种基于深度学习技术的计算机视觉的实时多人姿态估计方法，通过依次获取摄像头采集的当前帧图像，并进行归一化操作，使用预训练的神经网络模型与后处理算法对当前帧图像进行多人姿态估计，得到图像中所有人的人体关键点和人体骨架，从而实现多人姿态估计。本发明基于全图进行多人姿态估计，能够通过摄像头采集的图像快速准确的预测图片中所有人的人体关键点和骨架姿态，非常适合在安防领域用于判断人的行为和人体的姿态。本发明通过预训练的神经网络，经过一次前向传播即可预测出图片中所有人的人体姿态，运行速度不受图片中人数多少的限制，因此可以更加快速稳定的运行。

技术领域

本发明属于视频处理技术领域，尤其涉及一种基于深度学习技术的计算机视觉的实时多人姿态估计方法。

背景技术

随着计算机技术的高速发展，深度学习在计算机领域的应用越来越广泛。其中，通过对摄像头采集的视频流中的人体姿态进行估计拥有广泛的应用价值。通过对视频流中每帧图像中人体的姿态进行估计，可以进一步进行行为识别，从而判断人的行为，可用于智能监控；此外，也可以通过人体姿态估计进行人机交互，开发各种人机交互应用程序。

而目前基于深度学习的人体姿态估计算法由于网络模型结构庞大、后处理流程复杂等因素，导致算法耗时非常多，难以做到实时处理，这就限制了人体姿态估计的应用。

发明内容

本发明提供一种基于深度学习技术的计算机视觉的实时多人姿态估计方法，能够在嵌入式终端或服务器端进行快速准确的多人人体姿态估计，从而进行进一步的行为识别或人机交互。

本发明是这样实现的，一种基于深度学习技术的计算机视觉的实时多人姿态估计方法，包括以下步骤：

获取摄像头采集的当前帧图像，并进行归一化操作；

使用预训练的神经网络模型与后处理算法对当前帧图像进行多人姿态估计，得到图像中所有人的人体关键点和人体骨架。

优选的，所述获取摄像头采集的当前帧图像，并进行归一化操作，具体为：

从摄像头获取当前帧的RGB图片；

对所述图片使用预设参数进行归一化处理；

将所述图片缩放到宽576*高320。

优选的，所述神经网络模型与后处理算法对当前帧图像进行多人姿态估计，具体为：

所述神经网络模型的主干网络为ResNet50结构，输入大小为宽576、高320，使用ResNet50的卷积部分提取多尺度特征，分别从ResNet50的四个残差组结构获得四种大小的feature maps。接着将第一组feature maps进行2倍上采样后与第二组feature maps按通道拼接，前两组拼接后的feature maps经过卷积层与2倍上采样层后与第三组featuremaps按通道拼接，前三组拼接后的feature maps经过卷积层与2倍上采样层后与第四组feature maps按通道拼接。将第一组feature maps经过四个bottleneck结构后进行8倍上采样，将上述前两组拼接后的feature maps经过卷积层融合后再经过三个bottleneck结构后进行4倍上采样，将上述前三组拼接后的feature maps经过卷积层融合后再经过两个bottleneck结构后进行2倍上采样，将前四组拼接后的feature maps经过卷积层融合后再经过一个bottleneck结构，最后将8倍上采样、4倍上采样、2倍上采样和最后一个bottleneck结构输出的feature maps按照通道进行拼接，经过卷积层后得到输出featuremaps，通道数为35，宽为144，高为80；