[发明专利]人脸三维点云超分辨率融合方法及应用其的数据处理装置

摘要

公开了一种人脸三维点云超分辨率融合方法及应用其的数据处理装置。通过人脸检测、人脸姿态校正、点云对准、多视角表面融合四个步骤，无需对各个光照方向进行融合，通过投影到二维平面进行融合的方法，大大提高了效率。由于采用先姿态校正再融合的策略，充分利用了人脸的几何形状特性，既保持了数据的精度，又降低了问题的复杂度。同时，由于未直接在三维空间对点云进行插值和滤波，而是先投影到二维平面再进行插值和滤波，大大提高了算法效率。由粗到精的点云对准策略，既可避免陷入局部最优，又可加速收敛速度。

主权项

1.一种人脸三维点云超分辨率融合方法，包括：以扫描方式获取多帧三维人体点云数据，每帧三维人体点云数据至少包括人的脸部的点云数据；对所述多帧三维人体点云数据分别进行三维人脸检测，截取获得多个对应于不同帧的初始人脸三维点云；以第一迭代方式对每个初始人脸三维点云进行姿态校正，直至本次迭代前和迭代后的人脸三维点云的旋转矩阵为单位矩阵；对于所有相邻帧对应的两个经过姿态校正的人脸三维点云顺序进行粗对准操作，所述粗对准操作计算获得使得人脸三维点云降维采样得到数据集中的对应点对数量最多的粗对准变换矩阵，其中，对应点对是指两个数据集中，距离小于2个数据分辨率的点对；对所有相邻帧对应的两个粗对准操作后的人脸三维点云进行精对准操作，所述精对准操作通过以第二迭代方式对人脸三维点云进行点坐标转换直到人脸三维点云的误差满足预定条件；从多个不同视角分别将所有经过精对准操作的人脸三维点云的可视点集进行融合操作获得超分辨率融合点云，并合并多次融合操作得到的超分辨率融合点云以获得超分辨率人脸三维点云；所述融合操作包括：将对应视角的可视点集投影到该视角对应的坐标平面；将所述坐标平面的区域栅格化，将所有落入同一栅格内的点合并为一个融合点以获得栅格数据，该融合点垂直于所述坐标平面的坐标为所有落入栅格的点垂直于所述坐标平面的坐标的均值；对所述坐标平面内的栅格数据进行插值和滤波；将所述栅格数据映射到三维空间以获得超分辨率融合点云。