[发明专利]一种用于使用真实感合成数据估计头部姿势和视线的神经网络

说明书

本公开涉及用于估计头部姿势和视线角度的技术，该技术包括：通过人脸对齐方法使用二维(two‑dimensional，2D)面部的图像生成所述2D面部的面部紫外(ultraviolet，UV)位置图像和面部UV纹理图像，以分离所述2D面部的头部和眼部的运动。从所述面部UV纹理图像中提取眼部UV纹理图像并存储到数据库中。然后，可以用存储在所述数据库中的所述眼部UV纹理图像替换所述面部UV纹理图像的眼部区域，以生成修改后的面部UV纹理图像。对所述修改后的面部UV纹理图像进行重构，以生成修改后的2D面部图像作为存储在所述数据库中的训练数据。通过使用所述训练数据训练卷积神经网络，同时估计人的头部姿势和视线角度。

发明人：

杨磊

马元

邵文鑫

黄为

法提赫·波里克利

技术领域

本公开大体上涉及训练神经网络，并且特别地，涉及利用数据集训练神经网络以估计车辆驾驶员的头部姿势和视线角度。

背景技术

驾驶员分心正日益成为车辆事故的主要原因，特别是随着移动设备等技术的使用日益增多，所述移动设备将驾驶员的注意力从道路上转移开。驾驶员分心监控和避免是确保安全驾驶环境的关键，不仅对于分心的驾驶员，而且对于附近可能受到分心驾驶员影响的其它驾驶员来说，都是如此。能够监控驾驶员的车辆可以使车辆采取措施，以防止或协助防止因驾驶员分心而造成的事故。例如，可以启用警报系统来警告驾驶员分心了，或者可以启用制动和转向等自动功能来控制车辆，直到所述驾驶员不再分心。为了检测驾驶员分心情况，这些警报和预防性监控系统可以使用驾驶员的头部姿势和视线角度来评估当前状态。然而，由于头部和眼部的运动通常是相互独立的，精确的头部姿势和视线估计在计算机视觉技术中是一个非同小可的挑战。

发明内容

根据本公开的一个方面，提供了一种用于估计头部姿势和视线角度的计算机实现方法，包括：利用多个二维(two-dimensional，2D)面部图像训练第一神经网络，以分离2D面部的头部和眼部的运动，其中，所述训练所述第一网络包括：将所述多个2D面部图像中的2D面部映射到面部位置图像，以及基于所述面部位置图像构建所述2D面部的面部纹理图像；将从所述2D面部的所述面部纹理图像中提取的包括视线角度的眼部纹理图像存储在数据库中；用所述数据库中存储的包括所述视线角度的所述眼部纹理图像替换所述面部纹理图像的眼部区域，以生成修改后的面部纹理图像；重构所述修改后的面部纹理图像以生成包括修改后的头部姿势和视线角度的修改后的2D面部图像作为训练数据，并将所述训练数据存储在所述数据库中；以及通过使用所述训练数据训练第二神经网络来估计所述头部姿势和视线角度，其中，所述训练所述第二神经网络包括：从所述数据库中采集所述训练数据，以及同时对所述训练数据的所述修改后的2D面部图像和所述修改后的2D面部图像的相应眼部区域应用一个或多个变换。

可选地，在上述任一方面中，所述映射还包括：使用人脸对齐方法将所述多个2D面部图像中的所述2D面部映射到位置图，其中，所述面部位置图像将所述多个2D面部图像中的所述2D面部对齐到针对所述多个2D面部图像中的所述2D面部的重构的3D(three-dimensional,3D)模型的3D坐标；以及所述构建还包括：基于所述面部位置图像或面部3D可形变模型，针对所述多个2D面部图像中的所述2D面部构建所述面部纹理图像，以表示所述对齐后的2D面部的纹理。

可选地，在上述任一方面中，所述存储还包括：基于所述面部位置图像，从所述多个2D面部图像中的所述2D面部中提取所述面部纹理图像；从所述面部纹理图像中裁剪所述眼部区域，以基于地标根据所述多个2D面部图像中的所述对齐的2D面部创建裁剪的眼部纹理图像；以及将所述裁剪的眼部纹理图像存储到所述数据库中。

可选地，在上述任一方面中，所述裁剪的眼部UV纹理图像被标记为所述多个2D面部图像中的所述2D面部的所述头部姿势和所述视线角度之间的差异。