[发明专利]一种基于视频解译的交互式视频风格化渲染方法

说明书

技术领域

本发明是一种基于视频解译的交互式视频风格化渲染方法，属于基于视频解译的交互式视频风格化渲染方法的改造技术。 

背景技术

随着计算机、数码相机和数码摄像机大范围的普及，人们对于影音娱乐方面的制作需求越来越高。随之引发的是家庭数字娱乐领域的蓬勃发展。越来越多的人开始尝试当起了业余“导演”，热衷于制作和编辑各种的普通写实视频。最近几年，各种风格化的视频逐步被人们所接受，并成为流行元素，尤其是在动画视频和网游制作等方面。例如手工绘制的油画短片《老人与海》和水墨画视频《小蝌蚪找妈妈》等都引起人们的广泛专注，前者还获得奥斯卡短片等一系列奖项。视频风格化渲染不仅需要专业技术，而且还需要大量人力财力支撑，传统的视频风格化技术是通过逐帧绘制方法来实现风格化渲染。虽然以这种制作模式完成的作品每帧图像的视觉效果可以手工控制，但连续播放则由于缺少帧间的一致性而导致了视频画面存在较大的抖动现象，而且这些方法制作周期长、成本高，不利于批量制作。比如，上文提到的《老人与海》的油画短片，虽然时长只有22分钟，可是制作周期却长达近3年之久。 

发明内容

本发明的目的在于考虑上述问题而提供一种制作周期短、成本低，利于批量制作的基于视频解译的交互式视频风格化渲染方法。 

本发明的技术方案是：本发明基于视频解译的交互式视频风格化渲染方法，包括有交互式视频语义分割模块、视频风格化模块，交互式视频语义分割模块的分割方法包括如下步骤： 

1)关键帧图像的交互式分割和自动识别； 

2)关键帧之间稠密特征点的匹配； 

3)区域竞争分割算法； 

视频风格化模块的风格化方法包括如下步骤： 

4)基于语义解析的关键帧非真实感绘制； 

5)序列帧的笔触传播方法； 

6)用于防抖的阻尼笔刷系统。 

对视频的风格化将依次使用这两个模块。即首使用交互式语义分割模块对视频进行语义分割。再使用视频风格化模块对分割后的视频进行风格化渲染。上述步骤1)的关键帧图像的交互式分割和自动识别方法如下： 

将分割的语义区域根据其不同的材质属性将他们分成了十二类，包括天空/云、山脉/陆地，岩石/建筑物、树叶/树丛、头发/毛发、花/水果、皮肤/皮革、树干/树枝、抽象化背景、木头/塑料、水、衣服； 

实际操作中，采用了纹理、颜色分布、位置信息这三个主要特征进行训练和识别，给定一个区域图像X，定义其类别c的条件概率为： 

logP(x|X，θ)＝∑_iΨ_i(c_i，X；θ_Ψ)+π(c_i，X；θ_π)+λ(c_i，X；θ_λ)-logZ(θ，X)(*) 

式中后四项分别是纹理势能函数，颜色势能函数，位置势能函数和归一 化项。 

纹理势能函数定义为Ψ_i(c_i，X；θ_Ψ)＝logP(c_i|X，i)，P(c_i|X，i)是由Boost分类器给定的一个归一化的分布函数； 

颜色势能函数定义为π(c_i，X；θ_π)＝log∑_kθ_n(c_i，k)P(k|x_i)，用CIELab颜色空间中的高斯混合模型(Gaussian Mixture Models：GMMs)来表示颜色模型，对给定图像中的一个像素颜色x，其条件概率为： 其中μ_k和∑k分别表示第k个颜色聚类的均值和方差； 

位置势能函数定义为λ(c_i，X；θ_λ)＝logθ_λ(c_i，i)，相对于前面两个势能函数而言，位置势能函数相对较弱，在这个函数定义中，图像像素的类别标号仅仅与在图像中的绝对位置相关； 

利用此方法针对12类材质进行训练，然后采用上面的公式*计算给定一个图像区域中每个像素的对于各个类别的概率，最后统计区域中所有像素，采用投票的方式决定每个区域的类别；在风格化渲染过程中，画刷的选择由物体区域识别出的材质决定，为实现自动渲染打下了基础。 

上述步骤2)的关键帧之间稠密特征点的匹配方法如下：