[发明专利]深度图像模型训练方法及装置

权利要求书

1.一种深度图像模型训练方法，包括：

从样本视频文件中提取样本对象的第一面部视频帧和第二面部视频帧；

根据所述第一面部视频帧确定所述第二面部视频帧对应的位姿变换矩阵；

将所述第一面部视频帧输入深度图像模型进行处理，生成所述第一面部视频帧的深度图像，并基于所述深度图像确定所述第一面部视频帧的深度特征信息；

基于所述深度特征信息、所述位姿变换矩阵以及预先获取的相机参数生成所述第二面部视频帧对应的虚拟合成图像；

计算所述虚拟合成图像与所述第二面部视频帧之间的误差，并根据计算结果对所述深度图像模型进行迭代训练。

2.根据权利要求1所述的深度图像模型训练方法，所述从样本视频文件中提取样本对象的第一面部视频帧和第二面部视频帧，包括：

在所述样本视频文件包含的多个视频帧中，检测所述样本对象的面部特征点；

根据检测结果确定所述多个视频帧中，所述样本对象的面部特征点的对称关系，并根据所述对称关系将所述多个视频帧划分为第一面部视频帧和第二面部视频帧。

3.根据权利要求2所述的深度图像模型训练方法，所述根据所述对称关系将所述多个视频帧划分为第一面部视频帧和第二面部视频帧，包括：

根据所述对称关系确定所述多个视频帧中各视频帧包含的满足预设对称条件的面部特征点数量；

将包含的满足预设对称条件的面部特征点数量大于预设数量阈值的视频帧划分为第一面部视频帧，并将所述多个视频帧中除所述第一面部视频帧之外的视频帧划分为第二面部视频帧。

4.根据权利要求1至3任意一项所述的深度图像模型训练方法，所述根据所述第一面部视频帧确定所述第二面部视频帧对应的位姿变换矩阵，包括：

根据所述第一面部视频帧确定与所述第一面部视频帧相邻的上m帧和/或下n帧第二面部视频帧对应的位姿变换矩阵，其中m和n为正整数。

5.根据权利要求1至3任意一项所述的深度图像模型训练方法，所述根据所述第一面部视频帧确定所述第二面部视频帧对应的位姿变换矩阵，包括：

根据所述第一面部视频帧确定与所述第一面部视频帧相邻的第i帧第二面部视频帧对应的位姿变换矩阵，其中i∈[1,n]，n为与所述第一面部视频帧相邻的第二面部视频帧的数量；

根据所述第i帧第二面部视频帧对应的位姿变换矩阵确定第i+1帧第二面部视频帧对应的位姿变换矩阵。

6.根据权利要求1至3任意一项所述的深度图像模型训练方法，所述根据所述第一面部视频帧确定所述第二面部视频帧对应的位姿变换矩阵，包括：

利用随机采样一致性算法确定所述第二面部视频帧相对于所述第一面部视频帧的位姿变换矩阵，所述位姿变换矩阵包含旋转自由度和平移自由度。

7.根据权利要求2所述的深度图像模型训练方法，所述从样本视频文件中提取样本对象的第一面部视频帧和第二面部视频帧，包括：

根据所述第一面部视频帧的面部特征点检测结果中包含的面部特征属性信息，确定所述第二面部视频帧中相应面部特征属性的检测结果；

若根据检测结果确定所述第二面部视频帧中包含的所述相应面部特征属性信息满足预设条件，则将所述第二面部视频帧确定为目标第二面部视频帧；

相应的，所述根据所述第一面部视频帧确定所述第二面部视频帧对应的位姿变换矩阵，包括：

根据所述第一面部视频帧确定所述目标第二面部视频帧对应的位姿变换矩阵。

8.根据权利要求1所述的深度图像模型训练方法，所述深度特征信息包括所述深度图像中各像素点的深度值；

相应的，所述基于所述深度特征信息、所述位姿变换矩阵以及预先获取的相机参数生成所述第二面部视频帧对应的虚拟合成图像，包括：

将所述各像素点的深度值、所述相机参数、所述位姿变换矩阵以及各像素点在所述第一面部视频帧中的位置坐标作为位置转换算法的输入，获取输出的所述各像素点在所述虚拟合成图像中对应的位置坐标；

确定所述深度图像中各像素点的像素值，并基于所述像素值和所述位置坐标生成所述虚拟合成图像。