[发明专利]一种实现化妆品多维动态展示的视频直播方法及装置

权利要求书

1.一种实现化妆品多维动态展示的视频直播方法，其特征在于，包括：

从主播上传的上妆前的面部图像或视频中提取出妆前面部特征，将所述妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配，得到主播与所述面部模型的面部特征匹配关系；

所述预先建立的至少一种面部模型来源于预先采集的多种类型人脸数据形成的包含多种不同类型面部模型的模型库，所述模型库中包含尽量多的不同类型的面部模型，所述不同类型的面部模型具有不同的面容形貌；

从主播上传的上妆后的面部图像或视频中提取出妆后面部特征，依据所述妆前面部特征和所述妆后面部特征算出反映上妆效果的面部特征变化量；

所述提取出妆前面部特征和/或所述提取出妆后面部特征，包括：

利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息；

将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息；

所述将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息，包括：

建立形状模型以及纹理模型，并依据所述形状模型和所述纹理模型构建主动外观模型；

基于所述粗定位坐标信息，利用能量函数计算模型实例与待测图像之间的误差，利用该误差对模型进行优化，得到精定位的面部关键点；

依据所述面部特征匹配关系和所述面部特征变化量生成所述面部模型的妆后面部特征变化量；

依据所述妆后面部特征变化量对相应的面部模型进行渲染，生成所述面部模型的妆后虚拟面部图像或视频；

将所述妆后虚拟面部图像或视频显示于主播实时上传直播的上妆后面部图像或视频中。

2.根据权利要求1所述的方法，其特征在于，所述提取出妆前面部特征和/或所述提取出妆后面部特征，包括：

利用积分图对主播上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值；

将所述各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像；其中，

所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。

3.如权利要求1所述的方法，其特征在于，所述利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息，包括：

利用不同尺寸的方向梯度直方图特征滤波器对主播上传的图像进行滤波，得到各个预先训练好且相互关联的面部特征模板对应区域的相似度；

将得到的所述相似度与相似阈值进行比较，相似度大于相似阈值则判定为检测到面部，否则判定为未检测到面部。