[发明专利]一种基于人脸识别的视频特效处理方法

权利要求书

1.一种基于人脸识别的视频特效处理方法，其特征在于，按照以下步骤具体实施：

步骤1、对需要处理的视频节目镜头进行分割，具体过程是，

将视频节目镜头中的视频部分与音频部分分开，记视频总帧数为NumFrame，将每帧图像由RGB彩色图像转为灰度图像，并计算每一级灰度值所包含的像素点个数，然后将0到255个灰度级等分成16份，每份包含16个灰度级，计算相邻两帧灰度图像直方图的差和，见下式(1)：

其中，t＝0,1,...,15，i＝2,3,...,NumFrame，j＝0,1,...,255，d_t是第i帧和第i-1帧灰度图像直方图的差和，H_i,j和H_(i-1),j分别是第i帧和第i-1帧灰度图像落入第j个灰度级内的像素数目；

计算第i帧和第i-1帧灰度图像直方图的差和的平均值Avg_d_i，见下式(2)：

判断Avg_d_i是否满足下式(3)的条件：

Avg_d_i>5×Avg_d_i-1，(3)

满足式(3)，则第i-1帧图像是第k个镜头的结束帧，第i帧图像是第k+1个镜头的起始帧，k＝1,2,...,ShotNum，ShotNum为镜头数，镜头内的起始帧数为N_Bk、结束帧数为N_Ek；

不满足式(3)，则第i-1帧和第i帧图像都是第k个镜头的视频帧图像；

步骤2、获取视频中待特效人脸的模板特征，具体过程是，

2.1)在指定帧上框选待特效的人脸区域，并在镜头内获取待特效人脸的模板图像帧，

播放视频，当视频中出现待特效人脸时，手动指定该帧，记该帧的帧数为N_t，N_t∈[1,2,...,NumFrame]，N_Bk<N_t<N_Ek，k∈[1,2,...,ShotNum]，在该帧上手动框选完整的待特效人脸区域，该手动框选的区域称为矩形框，记该矩形框的左上角坐标为(x_L,y_L)，右下角坐标为(x_R,y_R)；

然后判断N_t、N_Bk、N_Ek是否满足下式(4)的条件：

同时满足条件①和②时，从指定帧N_t开始直接向后取连续8帧图像作为模板图像帧，记模板图像帧的个数为Num_f，此时Num_f＝8；

满足条件①，不满足条件②时，从指定帧N_t开始向后连续取到第N_Ek帧，向前再连续取8-(N_Ek-N_t)-1帧作为模板图像帧，即Num_f＝8；

不满足条件①和②时，把指定帧N_t所在镜头k内的所有帧图像作为模板图像帧，即Num_f＝N_Ek-N_Bk+1，此时Num_f<8；

2.2)对步骤2.1)中得到的Num_f个模板图像帧进行人脸检测，并提取待特效人的完整人脸区域，Num_f为模板图像帧的个数；

2.2.1)人脸的初检测

采用Adaboost算法中的人脸检测分类器，对每一模板图像帧进行人脸检测，所检测到的矩形区域记为ROI_i1，其中，i1＝1,2,...,Num_ROI，Num_ROI为检测到的矩形区域个数，记该矩形区域ROI_i1的宽为WROI_i1、高为HROI_i1；

2.2.2)排除非人脸的矩形区域

将步骤2.2.1)得到的矩形区域ROI_i1从RGB空间转换到YCrCb空间，参照下式(5)：

其中的像素值Cb和Cr取值范围分别为：80<Cb<130，135<Cr<170，则该像素为肤色像素，统计矩形区域ROI_i1中肤色像素的个数，记为Num_pixl_i1，判断Num_pixl_i1是否满足下式(6)中的条件：

其中，WROI_i1×HROI_i1是矩形区域ROI_i1的像素总数；

满足式(6)时，则矩形区域ROI_i1是人脸区域，i1∈[1,2,...,Num_ROI]，记为FaceROI_m，记其左上角和右下角的坐标为(x_Lm,y_Lm)和(x_Rm,y_Rm)，其中m＝1,2,...,Num_FaceROI，Num_FaceROI为排除非人脸区域后的人脸区域个数，Num_FaceROI≤Num_ROI；

不满足式(6)时，则矩形区域ROI_i1是非人脸区域；

2.2.3)合并重复检测到的人脸区域

记步骤2.2.2)的人脸区域FaceROI_m的中心点坐标为：

计算任意两个人脸区域中心点的欧式距离Dis_t，参照下式(7)：

其中，m＝1,2,...,Num_FaceROI，n＝1,2,...,Num_FaceROI，m≠n，

判断Dis_t是否满足公式(8)中的条件：

Dis_t<max((y_Rm-y_Lm),(y_Rn-y_Ln))，(8)

其中，max((y_Rm-y_Lm),(y_Rn-y_Ln))是y_Rm-y_Lm和y_Rn-y_Ln中的较大值，

y_Rm-y_Lm是第m个人脸区域FaceROI_m的高，

y_Rn-y_Ln是第n个人脸区域FaceROI_n的高；

合并满足式(8)中条件的人脸区域，合并后的人脸区域记为FaceROI′_m1，其左上角的坐标是所有被合并的人脸区域左上角坐标的最小值，记为(x'_Lm1,y'_Lm1)，其右下角的坐标是所有被合并的人脸区域右下角坐标的最大值，记为(x'_Rm1,y'_Rm1)，其中，m1＝1,2,...,Num_FaceROI'，Num_FaceROI'≤Num_FaceROI，Num_FaceROI'为合并重复人脸区域后人脸区域的个数；

2.2.4)确定待特效人脸区域

判断步骤2.2.3)中合并后的人脸区域FaceROI'_m1的左上角坐标(x'_Lm1,y'_Lm1)和右下角坐标(x'_Rm1,y'_Rm1)是否满足下式(9)：

其中，x_L和y_L为步骤2.1)中指定框的左上角的横、纵坐标，x_R和y_R为右下角的横、纵坐标；

满足式(9)条件的人脸区域FaceROI′_m1则为待特效人脸区域，m1∈[1,2,...,Num_FaceROI′]，记为FaceROI_M_f，f＝1,2,...,Num_f，Num_f为步骤2.1)中模板图像帧的个数，

不满足式(9)条件的人脸区域FaceROI′_m1为非特效人脸区域；

2.2.5)提取完整的待特效人脸区域

遍历步骤2.2.4)中确定的Num_f帧模板图像帧中待特效人脸区域FaceROI_M_f，记x_LMf和y_LMf分别为FaceROI_M_f区域左上角的横、纵坐标，x_RMf和y_RMf分别为右下角的横、纵坐标，并找出其中最大的待特效人脸区域，记其左上角的坐标为(x_Lmax,y_Lmax)，右下角的坐标为(x_Rmax,y_Rmax)，

判断FaceROI_M_f的面积是否满足下式(10)中的条件：

满足式(10)时，完整的待特效人脸区域FaceROI_MF_f的左上角坐标(x_LMf,y_LMf)和右下角坐标(x_RMf,y_RMF)由下式(11)计算得出：

否则，不满足式(10)时，FaceROI_M_f区域即为完整的待特效人脸区域FaceROI_MF_f，其左上角和右下角的横纵坐标保持不变；

2.2.6)提取待特效人脸的模板特征

把步骤2.2.5)中提取的完整的待特效人脸区域FaceROI_MF_f平均分成4×4个小块，对每一个小块进行LBP滤波得到每一个小块的特征值，把这16个小块的特征值串联起来作为完整的待特效人脸区域的特征，即为待特效人脸的模板特征；

步骤3、以镜头为单位，计算镜头里每一帧上所检测到的每个人脸区域的人脸特征并按人脸区域的位置对每个人进行分类；

步骤4、确定待特效人脸的分类阈值；

步骤5、根据分类阈值进行待特效人脸的识别及马赛克特效处理；

步骤6、对所有视频帧处理的结果进行保存，通过视频文件写入软件，把保存的帧图像转换成视频，最后把视频部分和音频部分合成一个完整的视频，即成。