[发明专利]具有虚拟人物上妆功能的化妆品直播系统及方法

权利要求书

1.一种具有虚拟人物上妆功能的化妆品直播系统，其特征在于，包括：

妆前特征提取模块，用于从获取到的用户上传的面部图像或视频中提取出用户的妆前面部特征；

面部模型匹配模块，用于将所述妆前面部特征与预先建立的各面部模型的面部特征进行比对，确定出与用户面部的匹配度最高的最相似面部模型；

妆后特征获取模块，用于基于选择的化妆品将所述最相似面部模型的面部特征输入对应的上妆效果虚拟器，得到用户的妆后面部特征；

妆后图像生成模块，用于依据所述妆后面部特征生成虚拟的用户妆后图像或视频；

妆后图像反馈模块，用于将所述用户妆后图像或视频反馈给用户。

2.如权利要求1所述的系统，其特征在于，所述妆前特征提取模块包括：

特征值计算单元，用于利用积分图对用户上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值；

图像分类筛选单元，用于将所述各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像；其中，

所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。

3.如权利要求1或2所述的系统，其特征在于，所述妆前特征提取模块还包括：

粗定位子模块，用于利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息；

精定位子模块，用于将所述粗定位坐标信息作为主动外观模型的初始位置信息进行拟合，得到面部关键点的精定位信息。

4.如权利要求3所述的系统，其特征在于，所述粗定位子模块包括：

相似度计算单元，用于利用不同尺寸的方向梯度直方图特征滤波器对用户上传的图像进行滤波，得到各个预先训练好且相互关联的面部特征模板对应区域的相似度；

面部判定单元，用于将得到的所述相似度与相似阈值进行比较，相似度大于相似阈值则判定为检测到面部，否则判定为未检测到面部。

5.如权利要求4所述的系统，其特征在于，所述精定位子模块包括：

模型构建单元，用于建立形状模型以及纹理模型，并依据所述形状模型和所述纹理模型构建主动外观模型；

模型拟合单元，用于基于所述粗定位坐标信息，利用能量函数计算模型实例与待测图像之间的误差，利用该误差对模型进行优化，得到精定位的面部关键点。

6.一种具有虚拟人物上妆功能的化妆品直播方法，其特征在于，包括：

从获取到的用户上传的面部图像或视频中提取出用户的妆前面部特征；

将所述妆前面部特征与预先建立的各面部模型的面部特征进行比对，确定出与用户面部的匹配度最高的最相似面部模型；

基于选择的化妆品将所述最相似面部模型的面部特征输入对应的上妆效果虚拟器，得到用户的妆后面部特征；

依据所述妆后面部特征生成虚拟的用户妆后图像或视频；

将所述用户妆后图像或视频反馈给用户。

7.如权利要求6所述的方法，其特征在于，所述提取出用户的妆前面部特征包括：

利用积分图对用户上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值；

将所述各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像；其中，

所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。

8.如权利要求7所述的方法，其特征在于，所述提取出用户的妆前面部特征还包括：

利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息；

将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息。