[发明专利]一种2D虚拟模型的驱动方法及设备

说明书

技术领域

本发明涉及图像处理领域，特别涉及一种2D虚拟模型的驱动方法及设备。

背景技术

虚拟模型表情动画是当前研究的热点，其在虚拟现实，数字娱乐，通信和视频会议、人际交互等领域有着非常广泛的应用。

随着移动终端的普及，以及网络带宽资费的下降，视频电话将成为社交领域的首选。由于陌生人之间交流在刚开始的时候不太愿意露脸，因此亟待一种交流工具来替代双方的视频图像。虚拟表情映射将是较佳选择，它不仅能够用虚拟人物来代替用户表达感情，而且能够大量的节省带宽，只需要通过发送对应参数就可以完成。

现有的一种基于单个模型的表情驱动方法，通过应用RBF训练骨架结构建立源与目标之间的运动对应关系，然后通过训练得到的权值进行实时驱动，该方法虽然简单，但对于姿态的改变很容易造成模型的畸变。

综上所述，现有技术利用虚拟模型的驱动方法存在用户体验性差、模型容易产生畸变等缺点，无法满足在视频通话过程中利用虚拟模型来代替用户表达情绪的要求，同时，因为视频通话传输的是整个视频，对网络资源占用较多，容易出现视频卡顿、模糊或掉线的情况，用户体验不佳。

发明内容

为了满足用户通过2D虚拟模型代替自身进行视频的需求，并有效地减少视频通话的带宽，同时，避免与陌生人交流过程中用户不愿意露脸的尴尬，提高用户体验，本发明实施例提供了一种2D虚拟模型的驱动方法及设备。所述技术方案如下：

第一方面，提供了一种2D虚拟模型的驱动方法，所述方法包括：

对当前人脸图像进行特征点定位，并获得所述特征点的2D坐标；

根据所述特征点的2D坐标获得所述特征点的正面化的3D坐标；

获取2D虚拟模型的3D坐标，根据所述2D虚拟模型的3D坐标与预先建立的人脸模型数据库的表情基数据的回归关系，建立所述2D虚拟模型的3D表情基；

根据所述正面化的3D坐标与所述2D虚拟模型的3D表情基，获取所述当前人脸与所述2D虚拟模型的3D表情基的拟合系数；

根据所述拟合系数，驱动所述2D虚拟模型。

结合第一方面，在第一种可能实现的方式中，所述对当前人脸图像进行特征点定位，并获得所述特征点的2D坐标包括：

对所述特征点中的眼睛部位特征点提取特征向量，并对所述特征向量进行特征降维；

将经过特征降维的特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；

当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。

结合第一方面，在第二种可能实现的方式中，所述根据所述特征点的2D坐标获得所述特征点的正面化的3D坐标包括：

根据预先训练的3D线性形状增益模型获取所述特征点的3D坐标；

根据所述特征点的2D坐标对所述3D坐标进行优化以获得所述特征点的正面化的3D坐标。

结合第一方面的第二种可能实现的方式，在第三种可能实现的方式中，所述根据所述特征点的2D坐标对所述3D坐标进行优化以获得所述特征点的正面化的3D坐标，包括：

根据所述特征点的2D坐标和预设公式正面化所述3D坐标。

结合第一方面，在第四种可能实现的方式中，所述获取2D虚拟模型的3D坐标包括：

获取所述2D虚拟模型的特征点的2D坐标；

根据所述2D虚拟模型的特征点的2D坐标，计算所述2D虚拟模型的特征点的3D坐标。

结合第一方面或第一方面的第四种可能实现的方式，在第五种可能实现的方式中，所述根据所述正面化的3D坐标与所述2D虚拟模型的3D表情基，获取所述当前人脸与所述2D虚拟模型表情基的拟合系数包括：

根据所述正面化的3D坐标与所述2D虚拟模型的3D表情基，通过二次规划获取所述拟合系数。

结合第一方面的第五种可能实现的方式，在第六种可能实现的方式中，所述根据所述拟合系数，驱动所述2D虚拟模型包括：

根据所述拟合系数，对所述2D虚拟模型的3D表情基进行加权，获取加权后的2D虚拟模型的特征点的3D坐标；

将所述加权后的2D虚拟模型的特征点的3D坐标转换回2D坐标；

根据所述转换回的所述2D坐标，驱动所述2D虚拟模型。

结合第一方面的第四种或第六种可能实现的方式，在第七种可能实现的方式中，所述方法还包括：

根据所述2D虚拟模型的特征点的2D坐标，对所述2D虚拟模型进行三角剖分；

获取剖分后的每个三角形内的像素点坐标。