[发明专利]智能座舱的3D人脸重建方法、装置、车辆及存储介质

说明书

本申请涉及模式识别与计算机视觉技术领域，特别涉及一种智能座舱的3D人脸重建方法、装置、车辆及存储介质，其中，方法包括：采集当前用户的人脸数据；将人脸数据输入至预先训练的3D人脸重建模型，得到当前用户的3D人脸重建结果，其中，预先训练的3D人脸重建模型由目标训练集训练预先构建的mutil‑view face神经网络模型得到。由此，解决了相关技术中重建三维人脸特征精度低，边缘深度信息不敏感，模型训练难度大且泛化性能差，不能精准重建复杂场景下的人脸的问题，可以保证满足精度要求的前提下，同时具备模型体积较小，参数量少，浮点运行算量少，方便部署加速的优点。

技术领域

本申请涉及模式识别与计算机视觉技术领域，特别涉及一种智能座舱的3D(three-dimensional，三维)人脸重建方法、装置、车辆及存储介质。

背景技术

随着大数据时代的兴起以及深度学习的飞速发展，图像的三维人脸重建的主流技术已经变为了以深度学习为基础，涌现了很多图像三维重建深度学习算法。3D技术在当今许多不同的领域都有存在。我们可以用它来重建身体的四肢，创造个性化的假肢，在室内和室外环境中自主导航，或者用我们的面部解剖来解锁我们的手机。然而大多数应用程序重新查询特定的硬件来获取场景的3D信息，例如激光扫描器或结构化光传感器，它们很少出现在主流用户使用的大多数设备中。能够理解我们所处的环境，只使用来自无处不在的摄像机的RGB数据，这是一个具有挑战性的问题，可能会带来全新的可能性。

相关技术中，通过输入包含人脸的单视图，检测出图中人脸所在位置，并根据检测出的位置裁剪出单视图上的人脸图像，转换为固定的大小后进行预处理；将预处理后的图像输入到编码器，编码器输出特征图；将提取的特征图输入到解码器，解码器输出球坐标表示的位置图；将球坐标表示的位置图转换为笛卡尔坐标位置图，根据转换后的位置图重建三维人脸。

然而，相关技术通过单张人脸图像重建三维人脸特征精度低、边缘深度信息不敏感。模型训练较难，模型泛化性能差，不能很好精准重建复杂场景下的人脸。

发明内容

本申请提供一种智能座舱的3D人脸重建方法、装置、车辆及存储介质，以解决相关技术中重建三维人脸特征精度低，边缘深度信息不敏感，模型训练难度大且泛化性能差，不能精准重建复杂场景下的人脸的问题，可以保证满足精度要求的前提下，同时具备模型体积较小，参数量少，浮点运行算量少，方便部署加速的优点。

本申请第一方面实施例提供一种智能座舱的3D人脸重建方法，包括以下步骤：采集当前用户的人脸数据；将所述人脸数据输入至预先训练的3D人脸重建模型，得到所述当前用户的3D人脸重建结果，其中，所述预先训练的3D人脸重建模型由目标训练集训练预先构建的mutil-view face(多角度人脸检测)神经网络模型得到。

根据上述技术手段，本申请可以解决相关技术中重建三维人脸特征精度低，边缘深度信息不敏感，模型训练难度大且泛化性能差，不能精准重建复杂场景下的人脸的问题，可以保证满足精度要求的前提下，同时具备模型体积较小，参数量少，浮点运行算量少，方便部署加速的优点。

可选地，在一些实施例中，在将所述人脸数据输入至所述预先训练的3D人脸重建模型之前，还包括：获取人脸重建场景的开源数据集；按照预设增强策略，对所述开源数据集中的数据进行增强处理，并将处理后的所述开源数据集作为训练集；利用所述训练集训练所述预先构建的mutil-view face神经网络模型，得到所述预先训练的3D人脸重建模型。

根据上述技术手段，本申请可以通过开源数据集对训练人脸重建模型，解决模型训练难度大且泛化性能差，不能精准重建复杂场景下的人脸的问题