[发明专利]一种图像处理的方法及装置

说明书

本发明实施例公开了一种图像处理的方法及装置，用于图像处理技术领域。本发明实施例方法包括：在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；获取视频直播场景中预设的拟人化三维模型的面部表情；根据用户面部表情数据调整拟人化三维模型的面部表情，以使得拟人化三维模型的面部表情跟随所述用户面部表情而变化。本发明实施例中利用人脸识别算法实现拟人化三维模型面部表情跟随用户面部表情变化而变化，增强视频直播/视频录制过程中展示效果的趣味性，提升了用户体验。

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像处理的方法及装置。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。

虽然随着人脸识别技术的发展，越来越多的应用到人们生活的方方面面，但是在某些领域的应用仍有待开发。

发明内容

本发明实施例提供了一种图像处理的方法及装置，利用人脸识别算法实现拟人化三维模型面部表情跟随用户面部表情变化而变化，增强视频直播/视频录制过程中展示效果的趣味性，提升了用户体验。

第一方面，本申请提供一种图像处理的方法，该方法包括：

在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；

获取所述视频直播场景中预设的拟人化三维模型的面部表情；

根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化。

优选的，所述利用人脸识别算法获取用户面部表情数据的步骤，具体包括：

利用人脸识别算法识别用户人脸后，标记用户人脸特定关键点位置；

根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态；

利用人脸识别算法获取用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向；

其中，所述用户面部表情数据包括所述特定关键点位置在预设时间内的状态、所述用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向。

优选的，所述特定关键点包括眼睛关键点、眉毛关键点和嘴巴关键点；

所述根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态的步骤，具体包括：

根据所述眼睛关键点计算用户眼睛睁开/闭合状态以及眼睛大小；

根据所述眉毛关键点计算用户眉毛挑动幅度；

根据所述嘴巴关键点计算用户嘴巴开合大小。

优选的，所述根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化的步骤，具体包括：

将所述拟人化三维模型的眼睛部分处理成透明；将所述拟人化三维模型嘴部的上下唇之间处理处一条透明的缝隙，以处理绘制牙齿；

利用欧拉角进行旋转所述用户人脸在三维空间中的朝向信息得到旋转变化矩阵；

获取预先制作的眼部纹理和嘴部纹理，并将所述眼部纹理和嘴部纹理贴合到所述拟人化三维模型面部；

根据所述用户眼睛睁开/闭合状态以及眼睛大小和所述用户眼睛的凝视方调整所述眼部纹理；根据所述嘴巴开合大小调整所述嘴部纹理；