[发明专利]戴眼镜人脸图像眼镜三维重建方法及装置

说明书

本发明公开了一种戴眼镜人脸图像眼镜三维重建方法及装置，其中，方法包括以下步骤：根据人脸图像截取眼部区域，并通过边缘检测方法检测眼部区域边缘，以检测镜框边缘；利用人脸姿态为先验，对齐镜框边缘至正面，提取镜框边缘；利用正面镜框像素驱动眼镜三维模板拉普拉斯变形，得到最终眼镜三维重建结果。该方法可以从戴眼镜人脸彩色图像中三维重建眼镜，且能从任意来源、任意姿态的人脸图片中，三维重建出任意形状的眼镜，简单易实现。

技术领域

本发明涉及三维重建和图像处理技术领域，特别涉及一种戴眼镜人脸图像眼镜三维重建方法及装置。

背景技术

眼镜是很多人生活中不可缺少的物件，可以被认为是人脸的外沿区域，显著影响人脸的外观。三维重建人脸时，同时重建出眼镜能增强人脸重建的真实感。

虽然眼镜基本具有相同的结构，左右严格对称，人佩戴眼镜时眼镜与人脸的相对位置也基本保持不变；但是眼镜形状多种多样，细节上各有不同，很难既简单又全面地定义和分类眼镜，因此，目前无法从戴眼镜人脸彩色图像中三维重建眼镜，亟待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种戴眼镜人脸图像眼镜三维重建方法，该方法可以从戴眼镜人脸彩色图像中三维重建眼镜，且能从任意来源、任意姿态的人脸图片中，三维重建出任意形状的眼镜，简单易实现。

本发明的另一个目的在于提出一种戴眼镜人脸图像眼镜三维重建装置。

为达到上述目的，本发明一方面实施例提出了一种戴眼镜人脸图像眼镜三维重建方法，包括以下步骤：根据人脸图像截取眼部区域，并通过边缘检测方法检测眼部区域边缘，以检测镜框边缘；利用人脸姿态为先验，对齐镜框边缘至正面，提取所述镜框边缘；利用正面镜框像素驱动眼镜三维模板拉普拉斯变形，得到最终眼镜三维重建结果。

本发明实施例的戴眼镜人脸图像眼镜三维重建方法，从单张人脸图片，用边缘检测技术提取镜框边缘，利用人脸姿态为先验对齐镜框边缘至正面，再用拉普拉斯变形获得眼镜三维重建结果，从而可以从戴眼镜人脸彩色图像中三维重建眼镜，且能从任意来源、任意姿态的人脸图片中，三维重建出任意形状的眼镜，简单易实现。

另外，根据本发明上述实施例的戴眼镜人脸图像眼镜三维重建方法还可以具有以下附加的技术特征：

进一步地，在发明的一个实施例中，所述利用人脸姿态为先验，对齐镜框边缘至正面，提取所述镜框边缘，包括：求解人脸姿态，以所述人脸姿态投影眼镜三维模板；在眼镜区域边缘中找投影点的对应点，以作为所述镜框边缘，且对应点云的形状满足预设形状；以所述人脸姿态为初始值，优化对应点间的距离，得眼镜姿态；按照所述眼镜姿态投影所述眼镜三维模板，迭代直至满足预设条件，得到眼镜姿态和镜框边缘像素，对齐所述镜框边缘像素。

进一步地，在发明的一个实施例中，所述以所述人脸姿态为初始值，优化对应点间的距离，得眼镜姿态，包括：以人脸姿态为初始值，以所述对应点间的距离为势能函数，优化所述眼镜姿态。

进一步地，在发明的一个实施例中，所述利用正面镜框像素驱动眼镜三维模板拉普拉斯变形，包括：在所述镜框边缘像素中找眼镜三维模板顶点的对应点，以对应点的距离为约束，拉普拉斯变形眼镜三维模板，得所述最终眼镜三维重建结果。

为达到上述目的，本发明另一方面实施例提出了一种戴眼镜人脸图像眼镜三维重建装置，包括：检测模块，用于根据人脸图像截取眼部区域，并通过边缘检测方法检测眼部区域边缘，以检测镜框边缘；提取模块，用于利用人脸姿态为先验，对齐镜框边缘至正面，提取所述镜框边缘；重建模块，用于利用正面镜框像素驱动眼镜三维模板拉普拉斯变形，得到最终眼镜三维重建结果。