[发明专利]一种蓝屏抠图方法

摘要

本发明公开了一种蓝屏抠图方法，先将视频传递到GPU中，通过在GPU中对视频帧进行蓝屏抠图处理，这样提高了抠图的速率。具体的讲，先对视频帧提取背景色，根据背景色，利用色差抠图技术对蓝屏图像进行不透明度处理，再经过二值化处理后得到初始不透明度图像，然后利用彩色图像的梯度信息和改进的联合双边滤波器对初始不透明度进行优化得到最终不透明度图像，最后对最终不透明度图像进行背景色溢出去除后回传到CPU客户端，通过显示设备显示。这样在整个处理过程中大大减少了人工交互和参数的调整。

主权项

一种蓝屏抠图方法，其特征在于，包括以下步骤：(1)、传递视频到GPU对GPU进行初始化；在CPU端通过视频输入、输出接口向GPU端申请纹理内存、常量内存和全局内存；CPU端申请内存成功后，再次通过视频输入、输出接口将视频帧传递到纹理内存，将视频的参数向量传递到常量内存，同时将选取的一幅背景合成图像传递到全局内存；(2)、GPU的并行计算线程块对视频进行处理从纹理内存中读取视频帧，从常量内存中读取视频的参数向量到GPU的并行计算线程块，在GPU的并行计算线程块中分别对所有视频帧进行处理；(2.1)、提取背景色将视频的第一帧图像作为蓝屏图像，再读取视频的参数向量得到蓝屏图像的结构信息；将视频的第一帧图像从RGB颜色空间转换到转换到HLS颜色空间，对HLS颜色空间中H通道的图像颜色进行颜色直方图统计，将颜色直方图中出现频率最大的颜色作为背景色；(2.2)、获取蓝屏图像的初始不透明度参照步骤(2.1)得到的背景色，利用色差抠图技术对蓝屏图像的每个像素点进行不透明度处理，即通过公式α′i＝Iikey‑MAX(Ii,I'i)，得到αi'，其中，i＝1,2,…,n，n表示蓝屏图像中像素点的个数，Iikey表示像素点在BRG空间内与背景色相同的通道颜色值，Ii，I'i分别表示像素点在BRG空间内另外两个通道颜色值，所有的α′i组成一幅Trimap图，再对Trimap图中的每个像素点进行二值化处理，得到每个点的初始不透明度αi，所有的αi组成一幅初始不透明度图像；(2.3)、利用蓝屏图像的梯度信息对初始不透明度图像进行边缘补充在RGB空间的蓝屏图像的梯度信息为：Fθ(x,y)={12[(gxx+gyy)+(gxx-gyy)cos2θxy+2gxysin2θxy]}1/2---(a)]]>θxy=12arctan[2gxy(gxx-gyy)]---(b)]]>其中，Fθ(x,y)表示蓝屏图像的不透明度，θxy表示蓝屏图像在坐标(x,y)处最大变化率的方向，gxx、gyy和gxy的计算公式如下：gxx=|∂R∂x|2+|∂G∂x|2+|∂B∂x|2gyy=|∂R∂y|2+|∂G∂y|2+|∂B∂y|2gxy=∂R∂x∂R∂y+∂G∂x∂G∂y+∂B∂x∂B∂y---(c)]]>根据公式(b)得到Fθ(x,y)两个相隔90°的角度值，即公式(b)与两个正交方向的每个像素点相关，则对于每个像素点，取Fθ(x,y)两个正交方向的角度值，将两个角度值的最大值记为Fi；比较每个像素点的Fi值与αi值，取两者之间的最大值作为每个像素点边缘补充后的不透明度，即αinew＝MAX(αi,Fi)，所有的αinew组成一幅边缘补充后的不透明度图像；(2.4)、利用改进的联合双边滤波器对边缘补充后的不透明度图像进行滤波优化将边缘补充后的不透明度图像作为噪声图像，再将蓝屏图像的结构信息传递到噪声图像中，通过改进的联合双边滤波器进行滤波处理；αjb(p)=Σq∈Ω(p)f(p-q)·g(I(p)-I(q))·α(q)Σq∈Ω(p)f(p-q)·g(I(p)-I(q))---(d)]]>其中，函数x＝p‑q表示两个像素点的坐标差，指数中的表示范数，σS表示高斯核宽度参数；p表示一个像素点，Ω(p)表示以p为中心的邻域窗口，q表示Ω(p)中的像素点，函数t表示颜色差，t＝I(p)‑I(q)表示两个像素点在R、G、B通道的颜色差，I(p)表示输入的RGB蓝屏图像中像素点p的颜色值，α(q)表示q像素点的边缘补充后的不透明度，αjb(p)表示p像素点在进行滤波之后的不透明度，通过对每个像素点进行滤波优化，得到最终的不透明度图像；(2.5)、去除背景色溢出及图像合成将最终的不透明度图像与蓝屏图像进行与操作，得到前景图像F，然后从GPU的全局内存中读取背景合成图像，再与前景图像通过合成方程C＝αF+(1‑α)B合成，得到初始合成图像C，其中F代表前景图像，B代表背景合成图像，α代表最终的不透明度图像；将初始合成图像C中的每个像素点在H通道的颜色值与背景色的颜色值进行比较，如果它们的差异值小于1，即需要抑制背景色溢出，则通过式(e)来降低像素点的饱和度，f(hpixel)＝A×sin(2π×(hkey+(0.25‑hpixel)))‑(A‑1.5)  (e)其中，f(hpixel)为饱和度的降低程度，hkey表示图像中背景色的颜色值，hpixel表示像素点的颜色值，A为常数；如果像素点H通道的颜色值与背景色的颜色值的差异大于或等于1，则像素点的饱和度保持不变；通过对初始合成图像C中每一个像素点进行处理，得到最终合成图像，再将最终合成图像回传到CPU中缓存；当第一帧图像处理完成后，按照步骤(2.1)～(2.5)处理继续处理第二帧图像，直到所有的视频帧图像处理完成后，通过视频输入、输出接口将合成的图像利用显示设备显示；(3)、内存释放当图像显示结束后释放CPU和GPU上分配的内存空间。