[发明专利]具有虚拟人物上妆功能的化妆品直播系统及方法

说明书

本申请公开了具有虚拟人物上妆功能的化妆品直播方法，先从获取到的用户上传的面部图像或视频中提取出用户的妆前面部特征，然后将妆前面部特征与预先建立的各面部模型的面部特征进行比对，确定出与用户面部的匹配度最高的最相似面部模型，然后基于选择的化妆品将最相似面部模型的面部特征输入对应的上妆效果虚拟器，然后得到用户的妆后面部特征，依据妆后面部特征生成虚拟的用户妆后图像或视频，最后将用户妆后图像或视频反馈给用户。该方法能够使得用户不仅能够看到化妆品在主播面部产生的上妆效果，同时也能够看到化妆品在用户本人面部产生的虚拟上妆效果及其变化情况，利于用户更加准确的判断该化妆品是否符合自己的审美和化妆需求。

技术领域

本申请涉及化妆品直播技术领域，特别涉及具有虚拟人物上妆功能的化妆品直播系统及方法。

背景技术

目前，通过网络短视频直播的社交方式越来越火爆，随着互联网建设的逐渐发达，越来越多的人类活动都借助互联网实现，通过抖音、快手等短视频软件进行网络直播来实现课程分享、物品展示。这其中，通过网络视频直播展示的方式进行化妆品效果展示、特性解说、销售和带货属于比较热门的现象。在直播过程中，主播一般会实际使用化妆品进行化妆过程以及妆后效果的直播，以展示出该化妆品对面部容貌提升的效果，例如通过眼线、眼影、口红、腮红等化妆品使眼睛显得更大、使嘴唇的形态更为丰满、使面色红润、使面部轮廓更紧致等等。

在用户在观看主播直播展示化妆效果的过程中，只能直观的感受到化妆品在主播面部产生的化妆效果，但是用户同时也希望能演示出自己使用化妆品前、后的容貌变化，相对直观地感受到该化妆品在自己面部所产生的大致化妆效果，从而作为用户是否决定购买的一个参考。

发明内容

（一）申请目的

基于此，为了使用户能够在观看直播过程中查看到自身对感兴趣化妆品的虚拟上妆效果，使得用户对化妆品在自己面部所产生的效用有直观感受，为用户购买化妆品提供更有利的参考，本申请公开了以下技术方案。

（二）技术方案

一方面，提供了一种具有虚拟人物上妆功能的化妆品直播系统，包括：

妆前特征提取模块，用于从获取到的用户上传的面部图像或视频中提取出用户的妆前面部特征；

面部模型匹配模块，用于将所述妆前面部特征与预先建立的各面部模型的面部特征进行比对，确定出与用户面部的匹配度最高的最相似面部模型；

妆后特征获取模块，用于基于选择的化妆品将所述最相似面部模型的面部特征输入对应的上妆效果虚拟器，得到用户的妆后面部特征；

妆后图像生成模块，用于依据所述妆后面部特征生成虚拟的用户妆后图像或视频；

妆后图像反馈模块，用于将所述用户妆后图像或视频反馈给用户。

在一种可能的实施方式中，所述妆前特征提取模块包括：

特征值计算单元，用于利用积分图对用户上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值；

图像分类筛选单元，用于将所述各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像；其中，

所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。

在一种可能的实施方式中，所述妆前特征提取模块还包括：

粗定位子模块，用于利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息；

精定位子模块，用于将所述粗定位坐标信息作为主动外观模型的初始位置信息进行拟合，得到面部关键点的精定位信息。