[发明专利]一种基于视频解译的交互式视频风格化渲染方法

权利要求书

1.一种基于视频解译的交互式视频风格化渲染方法，其特征在于包括有交互式视频语义分割模块、视频风格化模块。

交互式视频语义分割模块的分割方法包括如下步骤：

1)关键帧图像的交互式分割和自动识别；

2)关键帧之间稠密特征点的匹配；

3)区域竞争分割；

视频风格化模块的风格化方法包括如下步骤：

1)基于语义解析的关键帧非真实感绘制；

2)序列帧的笔触传播；

3)用防抖的阻尼笔刷系统处理。

对视频的风格化将依次使用交互式视频语义分割模块与视频风格化模块这两个模块，即先使用交互式视频语义分割模块对视频进行语义分割，再使用视频风格化模块对分割后的视频进行风格化渲染。

2.根据权利要求1所述的基于视频解译的交互式视频风格化渲染方法，其特征在于上述步骤的关键帧图像的交互式分割和自动识别方法如下：

将分割的语义区域根据其不同的材质属性将他们分成了十二类，包括天空/云、山脉/陆地，岩石/建筑物、树叶/树丛、头发/毛发、花/水果、皮肤/皮革、树干/树枝、抽象化背景、木头/塑料、水、衣服；

实际操作中，采用了纹理、颜色分布、位置信息这三个主要特征进行训练和识别，给定一个区域图像X，定义其类别c的条件概率为： 

(式1)

式中后四项分别是纹理势能函数，颜色势能函数，位置势能函数和归一化项。

纹理势能函数定义为Ψ_i(c_i，X；θ_Ψ)＝logP(c_i|X，i)，P(c_i|X，i)，是由Boost分类器给定的一个归一化的分布函数；

颜色势能函数定义为π(c_i，X；θ_n)＝log∑_kθ_n(c_i，k)P(k|x_i)，用CIELab颜色空间中的高斯混合模型(Gaussian Mixture Models：GMMs)来表示颜色模型，对给定图像中的一个像素颜色x，其条件概率为： 其中μ_k和∑k分别表示第k个颜色聚类的均值和方差；

位置势能函数定义为λ(c_i，X；θ_λ)＝logθ₂(c_i，i)，相对于前面两个势能函数而言，位置势能函数相对较弱，在这个函数定义中，图像像素的类别标号仅仅与在图像中的绝对位置相关；

利用此方法针对12类材质进行训练，然后采用式1给定一个图像区域中每个像素的对于各个类别的概率，最后统计区域中所有像素，采用投票的方式决定每个区域的类别；在风格化渲染过程中，画刷的选择由物体区域识别出的材质决定，为实现自动渲染打下了基础。