[发明专利]基于深度图像和虚拟数据的驾驶人姿态识别方法

权利要求书

1.一种基于深度图像和虚拟数据的驾驶人姿态识别方法，其特征在于：包括驾驶人关节点检测、虚拟驾驶人头部姿态数据集构建和驾驶人头部姿态分析三个过程；

驾驶人关节点检测过程，包括以下步骤：

1)将驾驶人深度图像和关节点标签作为深度学习框架Caffe的输入，训练深度卷积神经网络模型；

2)利用检测正确率最高的深度学习模型，检测图像中驾驶人的关节点位置；

虚拟驾驶人头部姿态数据集构建过程，包括以下步骤：

3)利用三维建模软件的建模功能Modeling构建驾驶人模型；

4)利用三维建模软件的动画功能Animation设置驾驶人头部运动；

5)利用三维建模软件的渲染功能Rendering批量渲染驾驶人图像；

6)对驾驶人图像进行头部分割处理，构建虚拟驾驶人头部姿态数据集；包括以下具体步骤：

61)根据带面部特征点标签的图像和面部特征点坐标信息，确定驾驶人头部位置；

62)分割驾驶人彩色图像和深度图像，提取驾驶人头部图像，构建虚拟驾驶人头部姿态数据集；提取的驾驶人头部图像大小为100×100，同时将头部姿态角度和面部特征点坐标归一化写入txt文件中；

驾驶人头部姿态分析过程，包括以下步骤：

7)利用由虚拟驾驶人头部姿态数据集构建过程获取的虚拟驾驶人头部姿态数据，采用迁移学习的方法，训练深度迁移学习模型；包括以下具体步骤：

71)将步骤62)获取的虚拟驾驶人头部姿态数据集作为迁移学习的源域，将大量无标注的真实驾驶人头部姿态数据和少量带有标签的真实数据作为目标域；采用深度迁移学习的方法解决虚拟数据与真实数据之间的特性差异；源域用χ_s＝{(x_si,y_si)|i＝1,2,...,N_s}表示，其中N_s表示源域样本数量，x_si表示驾驶人头部深度图像，y_si表示x_si的头部姿态空间角度和面部特征点空间位置坐标；目标域中带标注样本定义为χ_t＝{(x_ti,y_ti)|i＝1,2,...,N_t}，采用直推式迁移学习的方法进行特征迁移；

72)将源域数据作为训练集，将带标签的目标域数据作为测试集，转化为HDF5格式，作为深度学习框架Caffe的输入；

73)采用多个卷积层、池化层、全连接层构建深度迁移学习网络；利用深度迁移学习网络初始网络权重参数和偏置参数；网络结构包含一个输入层、多个中间层和一个输出层；每一层表示为一个非线性映射的过程，样本x在第m层的输出计算公式如下：

其中，表示网络的m层和m-1层之间的权重矩阵，表示偏移参数，p^(m)表示m层的节点数目，表示非线性激励函数，使用tanh、sigmoid或者ReLU函数；在第一层，假设h⁽⁰⁾＝x，p⁽⁰⁾＝d；在中间隐含层的特征空间中，任意两个样本之间的距离度量通过平方欧氏距离来表示，计算公式如下：

采用最大平均差异衡量源域与目标域在第m层的分布差异，计算公式如下：

此时，深度迁移学习网络的中间层m的损失函数定义为：

其中，α(α0)、γ(γ＞0)和β表示正则化参数；||Z||_F表示矩阵Z的Frobenius范数；表示数据的紧致性度量，用表示数据的可分性度量；采用随机梯度下降方法来优化得到参数W^(m)和b^(m)；

联合优化网络隐含层与最高层的损失函数，计算整个网络的目标函数，计算公式如下：

其中，

其中，J^(m)和J^(M)分别表示第m(m＝1,2,...,M-1)层的损失函数和最高层的损失函数；函数h(x)＝max(x,0)用于测量损失；τ^(m)表示正阈值，用于控制第m层损失函数J^(m)，表示其在学习过程中的重要性；ω^(m)用于平衡最高层与隐含层的损失重要性；在学习过程中，如果第m层损失函数小于阈值τ^(m)，式(5)的第二项为0，采用梯度下降方法来迭代更新参数W^(m)和b^(m)，直到网络达到终止条件；

74)采用平方差损失函数微调深度迁移学习网络，训练深度迁移学习网络模型；

75)选择检测准确率最高的模型，测试真实驾驶人头部图像；

76)从测试结果中，如果图像中驾驶人关节点坐标和头部姿态角度与真实值的差值小于设定的阈值，将该图像选为可信度高的图像，加入目标域数据中，扩充数据量；

77)返回步骤72)，迭代更新深度迁移学习网络，直至收敛；

8)根据深度迁移学习模型，估计目标域图像中驾驶人头部姿态，并检测其面部特征点位置。