[发明专利]实时人体3D姿态估计方法、装置、计算机设备和存储介质

说明书

本申请提供一种实时人体3D姿态估计方法、装置、计算机设备和存储介质，包括通过n个摄像头同步采集得到n个摄像头对应的实时原始视频流，并进行畸变矫正得到n个摄像头对应的实时标准视频流，将n个摄像头对应的实时标准视频流从第k帧视频帧开始，将k帧视频帧合成（n,k,w,h,c）张量输入时序深度神经网络输出（n,p,w,h）张量得到n个摄像头对应的当前帧关键点热力图，将n个摄像头对应的当前帧关键点热力图和预设的外参参数拼接输入姿态回归神经网络输出人体三维总向量，转换得到人体骨骼p个关键点的3D坐标的方法，降低了人体关键点计算时产生的抖动和误差，并有效解决了姿态的遮挡问题，保证了估计的3D姿态的准确度和稳定性。

技术领域

本申请涉及姿态估计技术领域，特别涉及一种实时人体3D姿态估计方法、实时人体3D姿态估计装置、计算机设备和存储介质。

背景技术

3D人体姿态估计可以作为人体姿态识别、行为识别、人体跟踪等任务的基础，同时也在医疗、监控、人机交互等领域具有很高的应用价值。随着近几年来以卷积神经网络为核心的深度学习的发展以及计算能力的显著提升，使得实时3D人体姿态估计成为了很多应用的最佳选择。

目前3D人体姿态估计大致可以分为基于单摄像头的人体姿态估计和基于多摄像头的人体姿态估计。基于单摄像头的3D姿态估计方法对图像的分辨率和清晰度要求较高，以估计较准确的人体深度，并且对遮挡情况的鲁棒性较差，会出现不稳定甚至错误。基于多摄像头3D姿态估计方法由于输入都为单帧图像，存在关节点计算的误差，会导致时序上帧与帧之间的3D姿态出现不连贯，具体表现为关节点的抖动、跳变等情况，由于单个摄像头的误差会在3D空间中被放大，并且当单个摄像头捕捉到的2D图像中人体姿态出现自遮挡时，三角测量的结果会直接出错，最终表现为3D姿态的变形、扭曲等情况。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前亟需解决的问题。

发明内容

本申请的目的是提供一种实时人体3D姿态估计方法、实时人体3D姿态估计装置、计算机设备和存储介质，能够利用多摄像头之间的图像和位置的空间关系，解决人体姿态的遮挡问题，降低人体关键点计算时产生的抖动和误差，保证估计的3D姿态的准确度和稳定性。其具体方案如下：

本申请提供一种实时人体3D姿态估计方法，包括：

通过n个摄像头同步采集被采集对象的实时动作视频，得到n个摄像头对应的实时原始视频流，其中n个摄像头分别设置在被采集对象的四周且正对被采集对象，n大于或者等于3；

根据n个摄像头预设的内参参数和畸变参数对n个摄像头对应的实时原始视频流进行一对一畸变矫正，得到n个摄像头对应的实时标准视频流；

将n个摄像头对应的实时标准视频流从第k帧视频帧开始，将当前帧和当前帧前的k-1帧共k帧视频帧合成（n,k,w,h,c）张量，输入时序深度神经网络输出（n,p,w,h）张量，得到n个摄像头对应的当前帧关键点热力图，其中n为摄像头数量，k为视频帧帧数，w和h为视频帧的宽和高，c为视频帧通道数，p为人体骨骼关键点个数，k大于2；

将n个摄像头对应的当前帧关键点热力图和n个摄像头预设的外参参数拼接得到热力图总向量[(65536p+12)n,1024]，输入姿态回归神经网络输出人体三维总向量[1024,3p]，将人体三维总向量转换为人体骨骼向量[p,3]，得到人体骨骼p个关键点的3D坐标。

可选的，所述n个摄像头分别设置在被采集对象的四周且正对被采集对象，包括：以被采集对象所在地面为圆心，每个摄像头正对圆心，其水平偏移角度小于或者等于10度，垂直偏移角度小于或者等于5度，每个摄像头距离地面高度为1.5到3.5米，距离被采集对象距离为2到5米。