[发明专利]图像数据优化方法、装置、电子设备及存储介质

说明书

本发明提供的图像数据优化方法、装置、电子设备及存储介质，包括：获得待处理的人脸图像，感兴趣部位的轮廓与三维关键点集中各个三维关键点连接成的边界线不匹配；根据人脸图像中感兴趣部位对应的二维关键点集，对感兴趣部位对应的三维关键点集中的三维关键点进行位置校正，获得感兴趣部位对应的目标三维关键点集；根据目标三维关键点集生成的目标人脸图像中，感兴趣部位的同一位置对应的三维关键点的投影位置与二维关键点之间的位置差距在预设范围内。本申请能够实现三维关键点与二维关键点对齐，提升三维关键点与感兴趣部位的轮廓贴合程度，提高三维关键点的准确度。

技术领域

本发明涉及人脸重建技术领域，具体而言，涉及一种图像数据优化方法、装置、电子设备及存储介质。

背景技术

基于图片数据进行三维(three3D)人脸重建已得到广泛应用,例如人脸表情驱动，AI三维动效等，以上应用的场景都基于三维人脸重建技术，对于这一类三维动效的需求，都需要建立在人脸的准确定位的基础上。

然而，目前的三维人脸重建技术存在无法做到人脸重建的完全精准的缺陷，例如，重建出的人脸在眼睛上重建出来的关键点与眼睛轮廓贴合度不能达到二维关键点的贴合程度，无法满足应用场景对于人脸准确定位的需求。

发明内容

有鉴于此，本发明提供了一种图像数据优化方法、装置、电子设备及存储介质，用以实现三维关键点与二维关键点对齐，提升三维关键点与感兴趣部位的轮廓贴合程度，提高三维关键点的准确度。

本发明的实施例可以这样实现：

第一方面，本发明提供一种图像数据优化方法，所述方法包括：获取待处理的人脸图像；其中，所述人脸图像中存在与业务需求匹配的感兴趣部位；所述感兴趣部位对应有三维关键点集和二维关键点集；所述感兴趣部位的轮廓与所述三维关键点集中各个三维关键点连接成的边界线不匹配；根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述感兴趣部位对应的目标三维关键点集；根据所述目标三维关键点集，生成目标人脸图像；所述感兴趣部位的同一位置对应的所述三维关键点的投影位置与所述二维关键点之间的位置差距在预设范围内。

可选地，根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得目标三维关键点集，包括：确定所述感兴趣部位的多个三维采样点以及每个所述三维采样点对应位置上的二维采样点；所述三维采样点包含于所述三维关键点集中；所述二维采样点包含于所述二维关键点集中；根据所述三维采样点和所述二维采样点构建校正矩阵；根据所述校正矩阵，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述目标三维关键点集。

可选地，在根据所述校正矩阵，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述目标三维关键点集之后,还包括：依据人脸重建技术，确定所述人脸图像中的人脸姿态角度；根据所述人脸姿态角度对所述目标三维关键点集中的目标三维关键点进行角度校正。

可选地，在根据所述二维关键点集，对所述三维关键点集中的所述三维关键点进行位置校正，获得所述感兴趣部位对应的目标三维关键点集之后，还包括：确定与所述感兴趣部位对应的联动区域；所述联动区域表征与所述感兴趣部位连接的区域，所述联动区域内的关键点的位置状态受所述感兴趣部位对应的关键点的位置状态影响；根据所述联动区域对应的二维关键点集和三维关键点集对所述联动区域内的三维关键点进行位置校正，获得所述联动区域对应的目标三维关键点集。

可选地，根据所述目标三维关键点集，生成目标人脸图像，包括：根据所述感兴趣部位和所述联动区域各自对应的目标三维关键点集，生成所述目标人脸图像。

可选地，确定所述感兴趣部位的多个三维采样点以及每个所述三维采样点对应位置上的二维特征点,包括：将所述感兴趣部位在水平方向上的距离最大的两个轮廓顶点确定为所述三维采样点；将所述两个轮廓顶点的连线的中垂线与所述感兴趣部位在竖直方向上的轮廓边界的交点确定为所述三维采样点。