[发明专利]一种基于Avatar表情移植的虚拟社交方法

摘要

本发明涉及一种基于Avatar表情移植的虚拟社交方法。本方法的具体操作步骤是：一利用SDM(监督下降方法)从实时输入的视频流中提取人脸特征点；二、面部语义特征作为CPR(级联姿态回归)训练的DDE(位移动态表情)模型的输入，输出的表情系数和头部运动参数移植给Avatar(虚拟化身)；三、对DDE模型输出的表情系数进行表情编码分组与情感分类；四、通过网络传输策略实现表情动画音频同步。本发明能实时捕捉用户面部表情并在Avatar上进行表情重演，并搭建网络通讯技术的虚拟社交。

主权项

1.一种基于Avatar表情移植的虚拟社交方法，其特征在于，具体步骤如下：步骤一、利用SDM从实时输入的视频流中提取人脸特征点：利用最小化非线性最小二乘函数的监督下降法SDM来实时提取人脸特征点，即在训练期间学习不同采样点的非线性最小二乘法函数的平均值最小化的下降方向；在测试阶段，通过OpenCV人脸检测选择出人脸感兴趣区域并初始化平均2D形状模型，因此人脸对齐问题的求解就变成寻找梯度方向步长，于是使用学习下降的方向将NLS最小化，从而实现实时的2D人脸特征点提取；步骤二、面部语义特征作为CPR训练的DDE模型的输入，输出的表情系数和头部运动参数移植给Avatar：基于DDE模型的CPR回归算法中，通过为3D形状模型的投影添加2D位移向量来弥补动态表情模型DEM未校准匹配特定用户带来的精度误差，实现直接从视频流中回归头部姿势和表情的面部运动参数；首先利用面部动作编码系统FACS建立包含中性面以及其他n个表情融合网格模型，即，然后由融合表情模型的线性组合来表示动态表情模型DEM，并组织了50位不同年龄段的用户，通过Kinect构造用户3D表情库来重建标准blendshape网格模型，其中单个用户的表情混合模型由参数化重建，u为用户身份向量，C为三级核心张量；而2D形状模型的特征点可通过3D网格模型相应顶点的投影加上位移向量表示，然后利用CPR回归算法完成DDE模型的未知量到2D形状模型的函数映射，即，其中形状向量；在运行阶段，通过FaceWarehouse的平均身份向量来初始化u值，坐标系下降和二分查找的方法求解矩阵Q；而形状向量P的求解过程如图2所示，当新用户进入时，第一帧图像通过2D的CPR方法提取73个特征点，生成2D形状向量，与训练的3D形状向量的投影重心对齐后，计算相应特征点的均方根距离，找到K组最近的形状向量，然后通过来计算以及的平均形状向量，并利用拟合误差项、正规化项、时间一致项加权组合以及BFGS优化器来稳定表情重演的动画效果，以及DEM多帧图像联合优化相机投影矩阵Q和身份向量u，而后续图像的2D形状向量通过前一帧计算的3D形状向量投影得到；步骤三、对DDE模型输出的表情系数进行表情编码分组与情感分类：在传输分组尺寸一定时，传输占用信道的时间与节点的传输速度成反比，因此网络传输速度降低时，通过实时自适应调整传输数据分组的尺寸，能极大地减少数据包占用信道的时间，显著提高网络性能；系统中通过调整表情系数的数量来设计三种不同尺寸的数据分组，但表情系数数量的降低，表情动画的移植也相应的会受到影响，为了测试不同表情系数对融合动画影响的程度，我们分别组织了50位动画专业的大学生参与系统测试和用户体验反馈，并根据1971年Ekman和Friesen研究6种基本表情：高兴、悲伤、惊讶、恐惧、厌恶，所建立的人脸表情图像库，建立面部表情动作单元与表情间的映射关系；步骤四、通过网络传输策略实现表情动画音频数据同步：同步是多媒体通信的主要特征，是多媒体系统服务质量QoS研究中的重要内容，媒体间同步即要保持表情动画和音频之间的时间关系，但由于发送端在数据采集编码和数据解码等处理算法不同引起时间差，以及网络传输延迟引起的失步；因此在发送端，分别对每次捕捉的表情系数和采样的语音数据打上相对时间戳，包括绝对时间和局部时间标志，在接收端，考虑到人对声音更为敏感，系统中选择音频作为主流，表情动画作为从流，主流连续播放，从流的播放由主流的播放状态决定，进而实现同步；针对多点网络传输中的同步问题，由于不同客户端的时间戳可能按不同的速率推进，直接比较各自的时间戳很难实现多客户端间的同步，因此系统中将客户端的时间戳和服务端的参考时钟关联，组成时间戳对，所有组播网内的客户端共享参考时钟；针对复杂网络环境下网速的降低，导致网络传输延迟和数据分组丢失严重的问题，利用QoS反馈机制来实时检测网络服务质量的变化，1)当网络状况较好时，通过减少循环队列的长度，提高表情动画的实时性；2)当网络状况较差时，通过增加循环队列的长度，用延迟换取表情动画和音频的流畅性；该方法有效地降低网络抖动对表情动画和音频播放质量的影响，从而在实时性和流畅性之间保持平衡。