[发明专利]轻量化卷积网络的三维人体姿态估计方法和装置

说明书

本发明一种轻量化卷积网络的三维人体姿态估计的方法，采用多个深度可分离空洞残差卷积模块串联组成多层渐进结构的主干网络，利用不同尺度的升维模块、深度可分离空洞残差卷积模块形成多阶段精细化监督，将输入一段二维人体关节序列，输出为一段对应输入二维关节坐标的三维人体坐标序列。本发明采用深度可分离空洞残差卷积模块和多阶段精细化提取特征来实现二维人体姿态到三维人体姿态的映射，能解决三维人体姿态估计任务所带来的深度模糊和不适定性问题并提高估计精度。

技术领域

本发明属于三维人体姿态估计领域，尤其涉及一种基于多阶段精细化监督的轻量化卷积网络的三维人体姿态估计方法。

背景技术

三维人体姿态估计是计算机视觉领域中研究热点问题，是自动驾驶、体感游戏、智能监控、人机交互等多个领域的研究基础。近年来，基于深度学习的三维人体姿态估计方法大致可以分为两种：端到端方法和分阶段方法，其中端到端的方法，就是从RGB图像中估计出三维人体姿态的坐标，直接预测可以更好利用原始图像中的信息；分阶段方法就是将任务分成两个阶段，第一个阶段从视频或者图像估计二维人体姿态，第二个阶段是将二维人体姿态作为输入估计三维人体姿态，主要依赖于二维人体姿态估计的精度。由于二维姿态估计发展较为成熟，该类方法较于端到端的方法更具普适性，所以分阶段方法比较主流。

但是在这类方法中，面对二维姿态到三维姿态映射中固有的深度模糊和不适定性使其成为一个难题，这使三维人体姿态估计器在面临复杂动作时精度不高。当前，如何解决三维人体姿态估计任务所带来的深度模糊和不适定性问题并提高估计精度，是目前需要进行解决的问题。

发明目的

本发明为了针对现存技术存在不足，提供一种轻量化卷积网络的三维人体姿态估计方法，采用深度可分离空洞残差卷积模块和多阶段精细化提取特征来实现二维人体姿态到三维人体姿态的映射，能解决三维人体姿态估计任务所带来的深度模糊和不适定性问题并提高估计精度。

本发明一种轻量化卷积网络的三维人体姿态估计的方法，采用多个深度可分离空洞残差卷积模块串联组成多层渐进结构的主干网络，利用不同尺度的升维模块、深度可分离空洞残差卷积模块形成多阶段精细化监督，将输入一段二维人体关节序列，输出为一段对应输入二维关节坐标的三维人体坐标序列。

进一步还包括如下步骤：

步骤1、提取二维人体关节坐标序列，假设给定二维人体关节坐标序列为243帧，通过升维卷积模块对输入的人体二维关节坐标序列进行不同尺度的升维处理，首先执行不同尺度的升维卷积模块，该升维卷积模块由切片函数、卷积核为3、步长为3、通道数为1024的一维卷积、批量规范化、Mish激活函数以及随机失活组成，对输入的人体二维关节坐标序列进行不同尺度的升维处理后，分别输出特征尺度为81*1024、27*1024、9*1024以及3*1024的处理结果；

步骤2、采用残差连接将输出的不同尺度的升维结果分别融合至由多层深度可分离空洞残差卷积模块串联组成的四层渐进网络结构各层中，形成多阶段监督，通过多个深度可分离空洞残差卷积模块串联构建多层渐进层结构来增强模型深度，增强特征输入；

所述深度可分离空洞残差卷积模块中，首先执行深度可分离空洞残差卷积，该卷积由卷积核为1的一维卷积、批量规范化以及Mish激活函数组成的点卷积模块和卷积核为w且扩张因子为d＝w^b的逐通道卷积、批量规范化、Mish激活函数和随机失活组成的空洞逐通道卷积模块执行，并在点卷积模块和空洞逐通道卷积模块之间采用切片函数进行残差连接，实现深度可分离空洞残差卷积，通过切片函数得到前后卷积维度匹配的信息特征，在避免过拟合的同时防止网络退化问题，然后再执行一个点卷积模块和随机失活函数，融合卷积各通道信息并输出；