[发明专利]一种基于大数据的面部表情的重建方法及装置

说明书

本发明提供了一种基于大数据的面部表情的重建方法及装置，该方法包括：获取第一用户的面部表情图像序列，第一用户的面部具有多个特征点，面部表情图像序列包括不同帧的多个面部表情图像；根据不同帧多个面部表情图像中的各个特征点的坐标变化确定各个特征点的运动轨迹；根据各个特征点的运动轨迹在第二用户的三维面部几何模型上重建面部表情。本发明实施例采用在面部标记特征点的方式来获取第一用户的面部表情变化信息，并根据各个特征点的坐标变化来确定各个特征点的运动轨迹，再根据各个特征点的运动轨迹对面部表情进行重建，从而解决了面部表情重建技术的应用场景受限的问题，降低了面部表情捕捉、识别与重建过程的专业性和制作成本。

技术领域

本发明涉及面部表情捕捉、识别与重建技术领域，具体而言，涉及一种基于大数据的面部表情的重建方法及装置。

背景技术

目前，基于面部表情的应用变得越来越重要，从简单的网络虚拟角色向导、远程虚拟通讯，到复杂的人脸自动识别、人脸图像数据库的自动查询等均会涉及面部表情的变化。面部表情识别与重建的研究具有非常重要的意义和十分广阔的应用前景，面部表情识别与重建不仅有助于开发拟人化的多媒体计算机系统，还有助于进一步提高计算机在特定视频信号方面的处理能力，尤其在视频理解方面，计算机可以利用图像中面部表情信息去理解其所具有的情感、心理等等；在智能计算机和多媒体技术方面，面部表情识别与重建也是当前虚拟现实技术的关键，利用该技术可模仿各种人物的面部表情；在军事、公安和其他特殊领域上，可通过情感信息处理技术从计算机上获取更多的与面部表情相关的信息，从而指导相关人员进行事件分析，增加事件分析结论的可靠性。

当前，相关技术中提供了一种面部表情的重建方法，其中，常见的动态面部表情的特征提取一般通过光学捕捉，即在表演者的脸部表情关键点贴上Marker，通过对目标上特定光点的监视和跟踪来完成面部表情捕捉，由此可知，目前面部表情捕捉过程需要表演者的脸部佩戴专门的摄像装置并在面部关键点粘贴表面覆盖有特殊反光材料的专用贴纸，进而通过对特定光点的监视和跟踪进行面部表情捕捉；另外，目前面部表情识别与重建过程需要专业人士使用专门的软件对捕捉到的面部表情进行识别与重建。

在实现本发明的过程中，发明人发现相关技术中至少存在以下问题：相关技术中的面部表情捕捉、识别与重建过程对设备资源要求高、专业性强、应用场景受限。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于大数据的面部表情的重建方法及装置，以解决相关技术中的面部表情重建技术的应用场景受限的问题，降低面部表情捕捉、识别与重建过程的专业性和制作成本。

第一方面，本发明实施例提供了一种基于大数据的面部表情的重建方法，该方法包括：

获取第一用户的面部表情图像序列，所述第一用户的面部具有多个特征点，所述面部表情图像序列包括不同帧的多个面部表情图像；

根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹；

根据各个所述特征点的所述运动轨迹在第二用户的三维面部几何模型上重建面部表情。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹，包括：

将不同帧多个所述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对；

依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，并将全部所述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；

根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级；

根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，得到各个特征点的多个所述物理坐标的关联关系；