[发明专利]人脸三维点云超分辨率融合方法及应用其的数据处理装置

说明书

公开了一种人脸三维点云超分辨率融合方法及应用其的数据处理装置。通过人脸检测、人脸姿态校正、点云对准、多视角表面融合四个步骤，无需对各个光照方向进行融合，通过投影到二维平面进行融合的方法，大大提高了效率。由于采用先姿态校正再融合的策略，充分利用了人脸的几何形状特性，既保持了数据的精度，又降低了问题的复杂度。同时，由于未直接在三维空间对点云进行插值和滤波，而是先投影到二维平面再进行插值和滤波，大大提高了算法效率。由粗到精的点云对准策略，既可避免陷入局部最优，又可加速收敛速度。

技术领域

本发明涉及三维图像处理技术领域，具体涉及一种人脸三维点云超分辨率融合方法及应用其的数据处理装置。

背景技术

随着三维成像技术的日益成熟，实时的三维数据采集成为了现实。由于三维点云保留了深度数据，能够更好地表达和描述现实世界，使得人工智能系统更容易理解现实世界，有望带来机器视觉的根本性突破。

由于目前传感器技术的限制，单帧采集的点云密度不够，难以支持对模型细节的描述，同时，单帧点云会包含各类噪声和孔洞等。更重要的是，单帧点云获得的只是模型在某个视角下的深度信息，通常不是完整的模型。因此，将多帧点云数据进行超分辨率融合是三维视觉的基础和关键环节。

现有的三维点云超分辨率融合方法需要耗费的内存和计算量大，数据采集时间长，而且对处理设备的软硬件要求高，同时，对于人脸三维点云进行融合后的分辨率难以达到应用的要求。

发明内容

有鉴于此，本发明提供一种人脸三维点云超分辨率融合方法及应用其的数据处理装置，降低融合的计算量，同时提高融合的效率和点云分辨率，为三维人脸识别提供高分辨率、低噪声、无孔洞的点云数据。

第一方面，提供一种人脸三维点云超分辨率融合方法，包括：

以扫描方式获取多帧三维人体点云数据，每帧三维人体点云数据至少包括人的脸部的点云数据；

对所述多帧三维人体点云数据分别进行三维人脸检测，截取获得多个对应于不同帧的初始人脸三维点云；

以迭代方式对每个初始人脸三维点云进行姿态校正，直至本次迭代前和迭代后的人脸三维点云的旋转矩阵为单位矩阵；

对于所有相邻帧对应的两个经过姿态校正的人脸三维点云顺序进行粗对准操作，所述粗对准操作计算获得使得人脸三维点云降维采样得到数据集中的对应点对数量最多的粗对准变换矩阵，其中，对应点对是指两个数据集中，距离小于2个数据分辨率的点对；

对所有相邻帧对应的两个粗对准操作后的人脸三维点云进行精对准操作，所述精对准操作通过以迭代方式对人脸三维点云进行点坐标转换直到人脸三维点云的误差满足预定条件；

分别从多个不同视角分别将所有经过精对准操作的人脸三维点云的可视点集进行融合操作获得超分辨率融合点云，并合并多次融合操作得到的超分辨率融合点云以获得超分辨率人脸三维点云。

优选地，以迭代方式对每个初始人脸三维点云进行姿态校正，直至本次迭代前和迭代后的人脸三维点云的旋转矩阵为单位矩阵包括：

根据迭代前的人脸三维点云的点云向量计算均值和协方差矩阵，其中，迭代前的人脸三维点云的点云向量为P＝[P₁,P₂,...,P_k,...,P_n]，P_k为第k个点的坐标向量，n为人脸三维点云的点数量；

对协方差矩阵进行SVD分解获得特征向量组成的矩阵和特征值组成的对角矩阵；

基于如下公式进行姿态校正获得迭代后的人脸三维点云的点云向量：

P'＝V(P-m)