[发明专利]一种基于RGBD融合网络的手部姿态估计系统及方法

摘要

本发明提供一种基于RGBD融合网络的手部姿态估计系统及方法。本发明系统包括全局深度特征提取模块、残差模块、多模态特征融合模块、分支并行干扰消除模块，全局深度特征提取模块，采用平行的两路交叉融合的残差网络，上路为高分辨率的特征图，下路为低分辨率特征图，通过交叉融合多分辨率的信息来进行多尺度特征融合，最终在高分辨率特征图预测网络输出；系统的输入部分分为深度图像处理支路和RGB彩色图像处理支路，两个支路所提取的特征，进行多模态融合后形成全局特征，送入分支并行干扰消除模块进行手部分支的特征提取，得到强化的手部分支特征，用于最终的关节位置预测。本发明主要通过彩色图像与深度图像的信息综合，达到具有较高准确度的手部姿态估计。

主权项

1.一种基于RGBD融合网络的手部姿态估计系统，其特征在于，包括：全局深度特征提取模块，采用平行的两路交叉融合的残差网络，上路为高分辨率的特征图，下路为低分辨率特征图，通过交叉融合多分辨率的信息来进行多尺度特征融合，最终在高分辨率特征图预测网络输出；残差模块，对于彩色图像，先使用两组堆叠的卷积‑池化模块提取低级特征，并使用关键点的2D热图作为监督，引导彩色特征提取聚焦在手部关键点附近，将彩色图像中得到的手部关键点的低级特征送入残差模块；多模态特征融合模块，先将深度特征与彩色特征进行级联，通过3×3的卷积和归一化操作平衡两种模态特征的尺度，通过全局平均池化将Sigmoid操作计算特征向量作为特征选择的权重，与原特征图逐像素相乘再相加，起到特征选择和结合的作用；分支并行干扰消除模块，对经所述多模态特征融合模块融合后的特征进行特征提取和最终关节3D位置的回归。