[发明专利]一种实时人脸特征传输的虚实感知互动方法

说明书

本发明公开了一种实时人脸特征传输的虚实感知互动方法，对训练集当中的所有图像的R、G、B三个通道，分别求解每个通道标准化值，采用Opencv库为图片创建了一个4维数组，估计映射到面部结构的68个2D点的坐标位置，估计头部姿态；得到了人脸对于摄像机的旋转角度，将roll、pitch yaw数据用分号切片使用getbonetransform方法传递到Unity中，操控模型的头部跟随摄像头中的人物旋转。本发明实现了基于神经网络的人脸检测，人脸定位与头部姿态估计，进行卡尔曼滤波平滑了数据抖动。将检测到的数据传递到Unity中，实现了虚拟模型实时跟随表演者的面部表情及体态。

技术领域

本发明设计了一种实时人脸特征传输的虚实感知互动方法，属于虚拟现实和增强现实技术领域。

背景技术

面部捕捉是动作捕捉技术的一部分，有时也被称为面部表情捕捉。面部捕捉需要记录人脸的一系列面部表情及动作参数，这些参数主要使用机械装置及相机等记录设备经过算法转化获得。动作捕捉主要捕捉人体关节点，同时人体动作较为稳定，而面部表情与人体动作不同，人脸表情更为细微复杂，因此对数据精度要求更高。在早期，由于相机及其他采集设备精度不足，面部捕捉主要依靠机械装置跟踪测量面部运动状况。与人体动作捕捉设备类似，早期的面部捕捉设备通常由多个装有角度传感器的关节和刚性连杆组成，这些面部捕捉设备固定在人的嘴部、眼部等位置。当人脸表情变化，运动产生时，角度传感器可以测得角度的变化，依据连杆的长度的变化可以计算出设备固定点在三维空间中的位置和运动轨迹。机械式面部捕捉设备的优点是成本低、精度高，可以进行实时测量。但是缺点也十分明显，使用起来不方便，对表演者的表情限制较大。随着技术的发展，机械式面部动作捕捉设备已退出历史舞台。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种实时人脸特征传输的虚实感知互动方法，实现了基于神经网络的人脸检测，人脸定位与头部姿态估计，使用训练好的模型在实时图像上绘制了人脸边界框与68个人脸特征点，进行卡尔曼滤波平滑了数据抖动，并进行了可视化表达。将检测到的数据传递到Unity中，实现了虚拟模型实时跟随表演者的面部表情及体态。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种实时人脸特征传输的虚实感知互动方法，包括以下步骤：

步骤1，收集人脸图像，建立训练集。计算图像像素的平均值，将训练集当中的所有图像的R、G、B三个通道，分别求解R、G、B三个通道的平均值μ_R,μ_G和μ_B，在传入一个图像到卷积神经网络中时，图像的每个通道需要减对应的均值，建立每个通道的初始标准化模型，得到每个通道初始标准化。

步骤2，设置的均方差因子σ，并将均方差因子加入初始标准化模型中，建立带有均方差因子的标准化模型，得到每个通道标准化值。

步骤3，采用Opencv库中的cv2.dnn.blodfromimage(image，scalefactor，size，mean，swapRB)函数为图片创建了一个4维数组，其中，image为需要进行预处理的图片(R，G，B)。Scalefactor为对图片进行缩放。size设置卷积神经网络训练时输入的图片的大小，mean表示每个通道标准化值。swapRB是OpenCV中设定的图片通道顺序为BGR通道顺序，将该参数设为Ture，将R通道和B通道调换。

步骤4，采用dlib库，dlib库中预先训练的面部地标检测器用于估计映射到面部结构的68个2D点的坐标位置，这个68点模型来自于dlib所使用的训练数据集iBUG 300-Wdataset，使用dlib.shape_predictor方法来返回68个特征点的位置。

步骤5，根据步骤4得到的特征点的位置利用Opencv库中的solve PnP函数估计头部姿态。