[发明专利]一种基于机器视觉和机器学习的智能化妆推荐系统

权利要求书

1.一种基于机器视觉和机器学习的智能化妆推荐系统，包括用户端、平台，所述平台为服务器端的处理器和数据库，它们的关系为：

平台数据库获取用户以及化妆教程示范者的人脸图片：用户的人脸图片，可直接由用户终端向平台上传的人脸图片获得；用户终端向平台上传化妆教程视频，通过对每个化妆教程视频进行分帧提取，得到每个化妆教程示范者的人脸图片；

所述服务器端的处理器包括人脸68关键点检测模块和人脸属性分类模块；

所述人脸68关键点检测模块软件算法为：

S2.1，对用户和化妆教程示范者的人脸图片，首先进行人脸检测，并提取出图片中的人脸，可利用34层ResNet网络实现；

S2.2，对提取出的每一张人脸进行人脸68关键点检测，得到每张人脸的第1至第68关键点；

所述人脸属性分类模块，软件算法为：

S3.1，进行脸型分类；根据检测到的人脸68关键点，对每一张人脸图片提取出脸型特征向量，并根据脸型特征向量将脸型分为鹅蛋脸、瓜子脸、圆脸以及方脸四种类型；脸型特征向量的分量包括：

形态面指数(face shape index)：描述脸型的瘦长宽短与否；面宽定义为第2关键点与第16关键点之间的水平距离，形态面高定义为第28关键点与第9关键点之间的竖直距离；形态面指数由下式给出：

颧下颚宽指数(face jaw index)：描述下巴的宽窄程度；下颚间宽定义为第5关键点与第13关键点之间的水平距离；颧下颚宽指数由下式给出：

下颚曲率半径(face jaw radius)：描述下颚线的尖利钝感与否。将第5至第13关键点用二次曲线拟合，称该曲线为下颚曲线。该曲线在第9关键点处的曲率称为下颚曲线曲率，该点处的曲率半径称为下颚曲率半径。下颚曲率半径由下式给出：

S3.2，进行眼型分类；根据检测到的人脸68关键点，对每一张人脸图片提取出眼型特征向量，并根据眼型特征向量将眼型分为杏眼、桃花眼、柳叶眼以及丹凤眼四种类型。眼型特征向量的分量包括：

眼圆指数(eye d index)：表示眼型椭圆程度。眼长定义为第37(或第46)关键点与第40(或第43)关键点之间的水平距离。眼高定义为第38(或第45)关键点与第41(或第48)关键点之间的竖直距离。眼圆指数由下式给出：

眼斜指数(eye tan index)：表示眼睛倾斜角度。外眼角点定义为第40(或第43)关键点，内眼角点定义为第37(或第46)关键点。眼斜指数由下式给出，其中y表示相应点竖直方向的坐标(纵坐标)，x表示相应点水平方向的坐标(横坐标)：

内眼角角度(eye_innercorner_angle)：上眼睑曲线定义为，对第37至第40关键点用三次曲线进行拟合所得曲线；下眼睑曲线定义为，对第37、40、41、42关键点用三次曲线进行拟合所得曲线；k_{上眼睑曲线内眼角点}定义为上眼睑曲线在内眼角点处的切线的斜率，k_{下眼睑曲线内眼角点}定义为下眼睑曲线在内眼角点处的切线的斜率。内眼角角度由下式给出：

内眼角角度＝arctank_{上眼睑曲线内眼角点}–arctank_{下眼睑曲线内眼角点}外眼角角度(eye_outercorner_angle)：k_{上眼睑曲线外眼角点}定义为上眼睑曲线在外眼角点处的切线的斜率，k_{下眼睑曲线外眼角点}定义为下眼睑曲线在外眼角点处的切线的斜率。外眼角角度由下式给出：

外眼角角度＝arctank_{上眼睑曲线外眼角点}–arctank_{下眼睑曲线外眼角点}注：内眼角角度与外眼角角度用于区分杏眼与桃花眼；

眼型曲率半径指数(eye radius index)：计算出上眼睑曲线竖直方向上最高(纵坐标最大)点处的曲率半径，称为上眼睑曲线最高处曲率半径；眼型曲率半径指数由下式给出：

S3.3，进行眉型分类；根据检测到的人脸68关键点，对每一张人脸图片提取出眉型特征向量，并根据眉型特征向量将眉型分为标准眉、一字眉、柳叶眉以及剑眉四种类型；眉型特征向量的分量包括：

眉毛面积(eyebrow area)：将人脸图片中的眉毛部分进行边缘检测后得到的一条闭曲线所围面积；

眉毛周长(eyebrow perimeter)：将人脸图片中的眉毛部分进行边缘检测后得到的一条闭曲线周长；

眉毛宽度(eyebrow width)：第18关键点和第22关键点的水平距离；

眉毛曲率半径指数(eyebrow radius index)：将第18至第22关键点用二次曲线进行拟合，称所得曲线为眉毛曲线；计算出眉毛曲线竖直方向上最高(纵坐标最大)点处的曲率半径，称为眉毛曲线最高处曲率半径；眉毛曲率半径指数由下式给出：

眉峰高度差(eyebrow peak)：称第26关键点为眉毛第二关键点，第25关键点为眉毛第三关键点，眉峰高度差由下式给出，其中y表示相应点竖直方向的坐标(纵坐标)：

眉峰高度差＝y_{眉毛第三关键点}-y_{眉毛第二关键点}

眉毛斜角(eyebrow slope angle)：称第18关键点为外眉尖，第22关键点为内眉尖，眉毛斜角由下式给出，其中y表示相应点竖直方向的坐标(纵坐标)，x表示相应点水平方向的坐标(横坐标)：

眉峰与眉尖正切(eyebrow tan)：将眉毛第二关键点和眉毛第三关键点中在竖直方向上较高的一点称为眉峰，眉峰与眉尖正切由下式给出，其中y表示相应点竖直方向的坐标(纵坐标)，x表示相应点水平方向的坐标(横坐标)：

S3.4，进行鼻型分类；根据检测到的人脸68关键点，对每一张人脸图片提取出鼻型特征向量，并根据鼻型特征向量将眉型分为希腊鼻(直鼻)、狮子鼻、水滴鼻以及短鼻四种类型；鼻型特征向量的分量包括：

鼻宽指数(nose width index)：描述鼻两翼相对宽度；鼻宽定义为第32关键点与第36关键点之间的水平距离，形态面高度定义为第28关键点与第9关键点之间的竖直距离；鼻宽指数由下式给出：

鼻高指数(nose height index)：描述鼻梁的相对高度；鼻高定义为第28关键点和第34关键点之间的竖直距离；鼻高指数由下式给出：

鼻角指数(nose arctan index)：描述鼻翼的相对宽度；称第31关键点为鼻头，第32关键点为鼻翼点；鼻角指数由下式给出，其中y表示相应点竖直方向的坐标(纵坐标)，x表示相应点水平方向的坐标(横坐标)：

服务器端的处理器输出的人脸属性分类结果，将所有与用户脸型、眼型、眉型、鼻型均一致的化妆教程示范者图片选取出来，在数据库中组成备选库，为具体应用做好准备；

用户终端自拍并发送给服务器端的处理器并运行一样的软件模块算法，在备选库中进行人脸检索，将用户的人脸图片以及备选库中的所有人脸图片先利用PCA算法进行降维处理，然后计算降维处理后的用户人脸图片与降维处理后备选库中的所有人脸图片之间的欧式距离，取欧式距离最小的一个或几个对应的图像作为检索结果；

用户终端得到推送来的与用户最相似的化妆教程示范者；根据人脸检索的结果，得到与用户最相似的一个或多个化妆教程示范者，并将相应的化妆教程推荐给用户。