[发明专利]一种基于人脸识别的视频特效处理方法

摘要

本发明公开了一种基于人脸识别的视频特效处理方法，步骤包括步骤1对需要处理的视频节目镜头进行分割；步骤2获取视频中待特效人脸的模板特征；步骤3以镜头为单位，计算镜头里每一帧上所检测到的每个人脸区域的人脸特征并按人脸区域的位置对每个人进行分类；步骤4确定待特效人脸的分类阈值；步骤5根据分类阈值进行待特效人脸的识别及马赛克特效处理；步骤6对所有视频帧处理的结果进行保存，通过视频文件写入软件，把保存的帧图像转换成视频，最后把视频部分和音频部分合成一个完整的视频，即成。本发明的方法，能够自动对访谈类视频节目中指定的待保护人员的脸部进行马赛克特效处理，准确率高。

主权项

一种基于人脸识别的视频特效处理方法，其特征在于，按照以下步骤具体实施：步骤1、对需要处理的视频节目镜头进行分割，具体过程是，将视频节目镜头中的视频部分与音频部分分开，记视频总帧数为NumFrame，将每帧图像由RGB彩色图像转为灰度图像，并计算每一级灰度值所包含的像素点个数，然后将0到255个灰度级等分成16份，每份包含16个灰度级，计算相邻两帧灰度图像直方图的差和，见下式(1)：其中，t＝0,1,...,15，i＝2,3,...,NumFrame，j＝0,1,...,255，dt是第i帧和第i‑1帧灰度图像直方图的差和，Hi,j和H(i‑1),j分别是第i帧和第i‑1帧灰度图像落入第j个灰度级内的像素数目；计算第i帧和第i‑1帧灰度图像直方图的差和的平均值Avg_di，见下式(2)：判断Avg_di是否满足下式(3)的条件：Avg_di>5×Avg_di‑1，  (3)满足式(3)，则第i‑1帧图像是第k个镜头的结束帧，第i帧图像是第k+1个镜头的起始帧，k＝1,2,...,ShotNum，ShotNum为镜头数，镜头内的起始帧数为NBk、结束帧数为NEk；不满足式(3)，则第i‑1帧和第i帧图像都是第k个镜头的视频帧图像；步骤2、获取视频中待特效人脸的模板特征，具体过程是，2.1)在指定帧上框选待特效的人脸区域，并在镜头内获取待特效人脸的模板图像帧，播放视频，当视频中出现待特效人脸时，手动指定该帧，记该帧的帧数为Nt，Nt∈[1,2,...,NumFrame]，NBk<Nt<NEk，k∈[1,2,...,ShotNum]，在该帧上手动框选完整的待特效人脸区域，该手动框选的区域称为矩形框，记该矩形框的左上角坐标为(xL,yL)，右下角坐标为(xR,yR)；然后判断Nt、NBk、NEk是否满足下式(4)的条件：同时满足条件①和②时，从指定帧Nt开始直接向后取连续8帧图像作为模板图像帧，记模板图像帧的个数为Num_f，此时Num_f＝8；满足条件①，不满足条件②时，从指定帧Nt开始向后连续取到第NEk帧，向前再连续取8‑(NEk‑Nt)‑1帧作为模板图像帧，即Num_f＝8；不满足条件①和②时，把指定帧Nt所在镜头k内的所有帧图像作为模板图像帧，即Num_f＝NEk‑NBk+1，此时Num_f<8；2.2)对步骤2.1)中得到的Num_f个模板图像帧进行人脸检测，并提取待特效人的完整人脸区域，Num_f为模板图像帧的个数；2.2.1)人脸的初检测采用Adaboost算法中的人脸检测分类器，对每一模板图像帧进行人脸检测，所检测到的矩形区域记为ROIi1，其中，i1＝1,2,...,Num_ROI，Num_ROI为检测到的矩形区域个数，记该矩形区域ROIi1的宽为WROIi1、高为HROIi1；2.2.2)排除非人脸的矩形区域将步骤2.2.1)得到的矩形区域ROIi1从RGB空间转换到YCrCb空间，参照下式(5)：其中的像素值Cb和Cr取值范围分别为：80<Cb<130，135<Cr<170，则该像素为肤色像素，统计矩形区域ROIi1中肤色像素的个数，记为Num_pixli1，判断Num_pixli1是否满足下式(6)中的条件：其中，WROIi1×HROIi1是矩形区域ROIi1的像素总数；满足式(6)时，则矩形区域ROIi1是人脸区域，i1∈[1,2,...,Num_ROI]，记为FaceROIm，记其左上角和右下角的坐标为(xLm,yLm)和(xRm,yRm)，其中m＝1,2,...,Num_FaceROI，Num_FaceROI为排除非人脸区域后的人脸区域个数，Num_FaceROI≤Num_ROI；不满足式(6)时，则矩形区域ROIi1是非人脸区域；2.2.3)合并重复检测到的人脸区域记步骤2.2.2)的人脸区域FaceROIm的中心点坐标为：计算任意两个人脸区域中心点的欧式距离Dist，参照下式(7)：其中，m＝1,2,...,Num_FaceROI，n＝1,2,...,Num_FaceROI，m≠n，判断Dist是否满足公式(8)中的条件：Dist<max((yRm‑yLm),(yRn‑yLn))，  (8)其中，max((yRm‑yLm),(yRn‑yLn))是yRm‑yLm和yRn‑yLn中的较大值，yRm‑yLm是第m个人脸区域FaceROIm的高，yRn‑yLn是第n个人脸区域FaceROIn的高；合并满足式(8)中条件的人脸区域，合并后的人脸区域记为FaceROI′m1，其左上角的坐标是所有被合并的人脸区域左上角坐标的最小值，记为(x'Lm1,y'Lm1)，其右下角的坐标是所有被合并的人脸区域右下角坐标的最大值，记为(x'Rm1,y'Rm1)，其中，m1＝1,2,...,Num_FaceROI'，Num_FaceROI'≤Num_FaceROI，Num_FaceROI'为合并重复人脸区域后人脸区域的个数；2.2.4)确定待特效人脸区域判断步骤2.2.3)中合并后的人脸区域FaceROI'm1的左上角坐标(x'Lm1,y'Lm1)和右下角坐标(x'Rm1,y'Rm1)是否满足下式(9)：其中，xL和yL为步骤2.1)中指定框的左上角的横、纵坐标，xR和yR为右下角的横、纵坐标；满足式(9)条件的人脸区域FaceROI′m1则为待特效人脸区域，m1∈[1,2,...,Num_FaceROI′]，记为FaceROI_Mf，f＝1,2,...,Num_f，Num_f为步骤2.1)中模板图像帧的个数，不满足式(9)条件的人脸区域FaceROI′m1为非特效人脸区域；2.2.5)提取完整的待特效人脸区域遍历步骤2.2.4)中确定的Num_f帧模板图像帧中待特效人脸区域FaceROI_Mf，记xLMf和yLMf分别为FaceROI_Mf区域左上角的横、纵坐标，xRMf和yRMf分别为右下角的横、纵坐标，并找出其中最大的待特效人脸区域，记其左上角的坐标为(xLmax,yLmax)，右下角的坐标为(xRmax,yRmax)，判断FaceROI_Mf的面积是否满足下式(10)中的条件：满足式(10)时，完整的待特效人脸区域FaceROI_MFf的左上角坐标(xLMf,yLMf)和右下角坐标(xRMf,yRMF)由下式(11)计算得出：否则，不满足式(10)时，FaceROI_Mf区域即为完整的待特效人脸区域FaceROI_MFf，其左上角和右下角的横纵坐标保持不变；2.2.6)提取待特效人脸的模板特征把步骤2.2.5)中提取的完整的待特效人脸区域FaceROI_MFf平均分成4×4个小块，对每一个小块进行LBP滤波得到每一个小块的特征值，把这16个小块的特征值串联起来作为完整的待特效人脸区域的特征，即为待特效人脸的模板特征；步骤3、以镜头为单位，计算镜头里每一帧上所检测到的每个人脸区域的人脸特征并按人脸区域的位置对每个人进行分类；步骤4、确定待特效人脸的分类阈值；步骤5、根据分类阈值进行待特效人脸的识别及马赛克特效处理；步骤6、对所有视频帧处理的结果进行保存，通过视频文件写入软件，把保存的帧图像转换成视频，最后把视频部分和音频部分合成一个完整的视频，即成。