[发明专利]嘴唇外轮廓提取方法

说明书

技术领域

本发明涉及一种嘴唇外轮廓提取方法，用于视频数字图像分析与理解，属于智能信息处理技术领域。

背景技术

随着计算机技术的迅猛发展，研究符合人类自然交流习惯的新颖人机交互技术异常活跃，且人机交互技术已从以计算机为中心逐步转移到以人为中心，而多媒体用户界面则大大丰富了计算机信息的表现形式，使用户可以交替或同时利用多个感觉通道。其中，让计算机自动理解人类唇动语言已成为智能人机交互研究领域的热点。一个完整的唇读系统包括唇部定位、唇动特征提取、唇动识别等环节，其中嘴唇外轮廓有效、自动提取十分重要。

在提取嘴唇外轮廓时，一般有如下方法：一是基于肤色方法，该方法受光照影响大，鲁棒性低；二是基于嘴唇模型方法，该方法易受不同说话人口型影响，尤其是当张大嘴时舌头的干扰，导致所得嘴唇外轮廓结果不理想以及算法复杂、实时性低。

发明内容

本发明的目的在于针对现有嘴唇轮廓提取方法，存在嘴形变化大，张大嘴时舌头的干扰，以及实时性效果不理想等问题，提供一种改进的嘴唇外轮廓提取方法。它是根据嘴唇和人脸肤色区域的分布特征差异，快速分割嘴唇，并提取嘴唇外轮廓，以提高人机交互的灵活性和简便性。

为达到上述目的，本发明的构思是：采用人脸检测方法，根据人脸面部各特征之间的比例保持不变性，进行嘴唇区域粗定位；根据嘴唇和人脸肤色区域的分布特征差异，采用自适应阈值分割嘴唇；根据嘴唇区域分布的几何特征，采用连通区域标记方法，去除非嘴唇区域，并用数字形态学方法去除毛刺和填补孔洞，以得到较完整的嘴唇区域，采用曲线曲线拟合方法，快速有效地确定嘴唇外轮廓。

根据上述发明构思，本发明采用下述技术方案：

1. 一种嘴唇外轮廓提取方法，其特征在于根据嘴唇和人脸肤色区域的分布特征差异分割嘴唇，并自动提取嘴唇外轮廓，具体步骤如下：

1) 启动人脸图像采集系统：采集视频图像；

2) 嘴唇区域粗定位：进行人脸检测，获取人脸区域；将人脸垂直区域的下半区域初步确定为嘴唇区域；

3) 嘴唇区域分割

4) 提取嘴唇外轮廓：在步骤3)提取的嘴唇区域二值图像中，获取嘴唇边缘点，采用曲线拟合法提取嘴唇的外轮廓。

上述步骤3)嘴唇分割的具体操作步骤如下：

(1) 彩色空间转换，计算色彩值s：由RGB彩色空间的红R、绿G二分量，计算色彩值s：

                          

(2) 直方图生成：根据所确定的色彩s值，获取其直方图；

(3) 嘴唇区域粗分割：根据步骤2)所确定的初始嘴唇区域，获取其区域像素个数A，同时利用步骤(2)所得的s直方图，统计较大s值的像素点个数m；当m等于N%×A时，N为真正的嘴唇区域占初始确定的嘴唇区域的像素个数百分比，所对应的s值即为阈值T。将满足下式条件的图像区域确定为可能的嘴唇区域G

G=s>T

(4) 嘴唇区域确定：根据嘴唇的宽、高和面积等的几何特征，采用连通区域标记法去除非嘴唇区域，并采用数字形态学方法去除毛刺和填补孔洞。

本发明的原理如下：

在本发明的技术方案中，根据HSV中饱和度S的计算公式和嘴唇区域RGB的分布特征，导出一种新的色彩转换方法，并采用自适应阈值法从感兴趣区域中分割出嘴唇。

饱和度S的计算公式如下：

在嘴唇区域，由于Max(R,G,B)=R，Min(R,G,B)=B，上式可简化为

根据嘴唇、肤色和舌头区域的R，G，B分布特征，构建R-G和R-B分布图进行分析，得出运用(R-G)/R有更好的分割效果。但是当脸部有一些妆容的时候，R的值可能趋向于0，导致嘴唇区域提取困难。为解决这个问题，导出如下公式，将s值限定在0-1之间。