[发明专利]一种基于混合深度回归网络的头部姿态估计方法

摘要

该发明公开了一种基于混合深度回归网络的头部姿态估计方法，是基于混合深度回归网络的头部姿态估计算法，属于计算机视觉和机器学习领域。它在传统回归算法和深度网络框架的基础上，首次在头部姿态估计问题中使用了不同模态的图像信息，并将训练得到的多个模态的子网络进行融合，得到了最终的混合深度回归网络。与其它头部姿态估计方法相比，该算法能够取得更好的估计精度并具有良好的鲁棒性。此外，本专利的方法还具有一定的通用性，不仅适用于典型的头部姿态估计问题，如人机交互、安全驾驶和人脸识别，也可以将问题场景拓展到其它深度回归问题中。

主权项

1.一种基于混合深度回归网络的头部姿态估计方法，该方法包含以下步骤：步骤1：对数据集进行预处理；获取头部姿态数据集，包括头部区域RGB图像和深度图像；再根据采集数据集中每幅图像时摄像头的位置，读取N幅图像各自对应的头部俯仰、偏航和旋转角度，即头部姿态向量tn∈R3，tn的第一维表示俯仰角，第二维表示倾斜角，第三维表示旋转角，下标n表示第n幅图像对应的姿态；对采集的RGB图像进行RGB图像转灰度图像的处理，若采集图像已经为灰度图像则无需再进行转化处理；步骤2：对数据集进行特征提取；将步骤1得到的头部区域图像归一化为尺寸相等的图像，对每一幅输入图像提取HoG特征，并记模态k下第n幅图像对应的HoG特征向量为xnk；步骤3：输入特征和姿态标签的归一化；设总共有K种模态的图像，对于某一种模态k，将所有的N幅图像对应的HoG特征向量在列方向上，按顺序排列得到特征矩阵X_k，若HoG特征的总维度数为H，则矩阵大小为H×N，即X_k＝[x_1k,...x_Nk]_H×N，并对HoG特征向量的每一维特征进行归一化；将每一幅图像对应的头部姿态向量在列方向上，按顺序排列为标签矩阵T，由于每一幅图像对应的头部姿态向量的维度为3，故矩阵大小为3×N，即T＝[t₁,...,t_N]_3×N,并对每一维角度进行归一化；X_k和T的归一化方法一致，如下式所示，vⁱ表示选取X_k的第i行构建的行向量，uⁱ表示选取T的第i行构建的行向量；表示vⁱ所有分量中的最小值，表示uⁱ所有分量中的最小值；表示vⁱ所有分量中的最大值，表示uⁱ所有分量中的最大值；表示经过归一化以后的vⁱ，表示经过归一化以后的uⁱ；1表示单位向量：按照以上的公式处理两个数据矩阵后，得到的归一化的特征矩阵和标签矩阵为:步骤4：构建和初始化单模态子网络；子网络的构建采用自编码器网络，训练分为无监督预训练和有监督的微调两步完成；如下式所示，L(·)表示矩阵的2‑范数，EU是无监督预训练时的编码器，ES有监督微调时的编码器，D为解码器，其中解码器D和编码器EU权值共享；对于某一种模态k，xnk表示第n幅图像提取的特征，tn表示第n幅图像的姿态标签；模态k下的无监督预训练的代价函数这部分代价来源于特征的重构误差，训练时通过最小化代价函数来更新D和E_U：模态k下的有监督微调的代价函数这部分代价来源于网络输出与标签的均方误差，训练时通过最小化代价函数来更新E_S：整个深度回归子网络模型为：首先将归一化以后的单模态特征Xk_norm按照mini‑batch送入预训练部分网络，经过逐层无监督训练收敛后，得到预训练模型；然后基于预训练网络，构建微调部分网络，将Xk_norm和归一化后的标签矩阵Tnorm以同样的方式送入微调网络进行有监督训练，得到微调网络，至此，各个单模态子网络初始化完毕；步骤5：构建子网络混合模型；1)经过步骤4中的预训练和微调之后，两个单模态网络初始化完毕；接下来需要训练得到深度回归子网络的混合模型，来预测多模态的输入和头部姿态之间的映射关系；混合模型的表达式如下：xk表示来源于模态k的输入特征，πk表示混合系数，f(·)表示训练好的深度回归子网络模型；2)在概率性框架下将上式改写，得到头部姿态混合模型的参数形式如下：其中t为头部姿态的观测值，θ表示模型的所有参数的集合，包括子网络中的参数{Wk,bk}，混合系数{πk}和方差β‑1，I表示单位矩阵；3)将上式改写为对数形式，假设已有N个人的K个不同的模态的特征，记作{x_1k,...,x_Nk}，其中k＝1,...,K，表示第n个人的第k个模态的特征；当给定输出观测值T和输入观测值X＝{x_1k,...,x_Nk},(k＝1,...,K)时，模型的对数似然函数表达式为：步骤6：子网络混合模型的训练；利用EM算法，在E步骤中，首先根据初始化的子网络对训练集的预测结果为每一个样本加权，然后重新构建代价函数；在M步骤中，优化E步骤中的代价函数；样本的加权以及重新训练是一个迭代的过程，即第一次模型训练结束后需要重复上述过程，直到混合模型精度收敛时，停止训练；若训练完毕，最终的混合网络为子网络的加权和；步骤7：当给定一个新的多模态头部姿态图片数据集或者多模态头部姿态图片提取的特征，记作{xc1,...,xcK}，可以推断出相应的头部姿态为：其中y表示预测的头部姿态向量，表示各个头部姿态预测值对于不同模态特征的期望。