[发明专利]一种基于混合深度回归网络的多模态的头部姿态估计方法

说明书

该发明公开了一种基于混合深度回归网络的多模态的头部姿态估计方法，属于机器学习和计算机视觉领域。该方法首先将头部图像转换为多种不同的模态，并从不同模态的头部图像中提取梯度方向直方图特征，其次通过训练不同模态的深度回归网络模型来拟合图像特征与对应的头部姿态估计之间的映射关系，然后借鉴高斯混合密度网络的方法，将训练所得的单模态网络融合为多模态网络，并且同时训练不同图像的混合系数，最后使用混合得到的多模态网络对输入的头部图像进行头部姿态估计。本发明更好的拟合了图像特征与头部姿态估计之间的非线性映射，提高了现有方法的精确度和鲁棒性。

技术领域

本发明属于机器学习和计算机视觉领域，主要涉及多模态的头部姿态估计问题。

背景技术

头部姿态估计在计算机视觉中一般定义为根据包含头部的数字图像，利用机器学习的方法估计该图像中的头部与摄像机之间的相对偏转角度，通常人的头部姿态有三个自由度方向，分别是水平方向上的偏航角、垂直方向上的俯仰角和图像平面上的旋转角。在身份验证、安全驾驶以及人机交互等方面需求的背景下，头部姿态估计作为这些实际应用中的关键问题，近年来在计算机视觉和机器学习领域得到了越来越多的关注。例如：在身份验证领域，头部姿态估计预先估计人脸的朝向，从而有利于下一步特征点的定位与之后的处理；在安全驾驶领域，头部姿态估计可以辅助视线估计，从而实现对驾驶员注意力的监控；在人机交互领域，头部姿态估计可以辅助表情识别进行行为预测等。

现有的针对人脸头部姿态估计的算法，主要分为基于分类的方法和基于回归的方法。

基于分类的方法主要是学习头部图像与姿态标签之间的分类判别函数，然后利用训练好的分类器去估计待测试图像头部姿态所属的类别，从而确定头部姿态估计。目前常用的分类器有支持向量机(Support Vector Machine,SVM)，线性判别分析(LinearDiscriminative Analysis,LDA)和贝叶斯分类器(Bayesian,NB),但是这些方法只能提供离散的头部姿态估计，导致估计值并不精准。参见文献：J.Huang,X.Shao,andH.Wechsler,Face Pose Discrimination using Support Vector Machines,IEEEInternational Conference on Pattern Recognition,pp.154-156,1998.和S.O.Ba,J.M.Odobez,A Probabilistic Framework for Joint Head Tracking and PoseEstimation,IEEE International Conference on Pattern Recognition,2004.

基于回归的方法主要是学习头部图像与连续的姿态标签值之间的映射函数，然后利用训练好的模型去估计待测试图像的头部姿态角度值，目前常用的回归函数包括支持向量回归(Support Vector Regression,SVR)，高斯过程回归(Gaussian ProcessRegression,GPR)，和神经网络(Neural Network,NN),这类方法解决了前两种方法无法输出连续的头部姿态角度值的缺点。参见文献：R.Ananth,Y.Ming-Hsuan,H.Jeffrey,OnlineSparse Gaussian Process Regression and Its Applications,IEEE Transactions onImage Processing,2011.和G.Fanelli,J.Gall,and L.Van Gool,Real Time Head PoseEstimation with Random Regression Forests,IEEE Conference on Computer Visionand Pattern Recognition,pp.617-624,2011.