[发明专利]一种基于图像复杂度的多模型融合的CU划分方法

说明书

本发明公开的一种基于图像复杂度的多模型融合的CU划分方法，包括以下步骤：根据编码块的大小选择不同的混合模型；混合模型为预先建立并训练的模型；根据选择的模型对输入的编码单元进行处理，得到的值与编码单元的真实方差相比较，从而判断图像的复杂度，对编码单元的划分情况进行预测。本发明提供一个均值模型学习图像的均值，差值模型学习图像的方差，预测CU的划分结果,如果图像的像素值存在较大的差异，说明图像包含的信息比较多，CU倾向于划分成更小的CU，如果图像的像素值几乎相等，CU的大小基本保持不变。上述方法可以优化视频编码框架中的帧内预测模式，降低视频编码框架的编码复杂度，提升视频的编码效率。

技术领域

本发明涉及深度学习编码领域，具体的涉及一种基于图像复杂度的多模型融合的CU划分方法。

背景技术

近些年来，随着技术的不断升级，视频也逐渐从高清向着超高清方向不断发展，视频逐渐成为人们生活中不可或缺的一部分，提高视频的质量，快速地对视频进行压缩传输，改善用户的体验，成为现在视频研究的一个方向。在2013年，联合专家组发布了新一代高效视频编码标准(High Efficiency Video Coding，HEVC)，旨在改善视频的压缩效率。

在传统的视频编码框架HEVC中，每一帧视频在编码之前都会被划分成若干个CTU，所有的变换，量化都是基于CTU进行的。根据CTU内容的复杂度，CTU可以按照四叉树原则不断向下划分成不同大小的CU，即每一个CTU都可以选择保留原来的大小或者划分成四个大小一样的编码块，CTU的尺寸最大为64x64，最小为8x8。CTU的划分方式决定了视频传输的码率和质量。为了获得最优的CTU划分方式，HEVC采用了一种率失真函数，衡量划分后CU的传输比特和质量，选择失真最小的为最优的划分方式。在选择最优的CTU划分方式的过程中，需要对父CU和四个子CU计算一次率失真函数，选择失真最小的作为划分的结果，庞大的计算量导致了视频编码的时间过长。(B.Division of the Picture into Coding TreeUnits，E.Tree-Structured Partitioning Into Transform Blocks and UnitsG.Intrapicture Prediction)

深度学习作为当前研究的热点，被广泛应用于各个领域，并且都取得了良好的效果。深度学习可以自动提取数据的特征，并且根据不同的要求得到不同的输出结果。将深度学习应用在视频压缩编解码领域，打破了传统的视频压缩模式，极大地提高了视频的编码效率。

由于寻找CTU最优划分方式是一种穷举算法，会给视频编解码带来很大的计算量，使得在视频编解码的时候耗费很长的时间，严重影响了视频的编码效率。应用深度学习方法取代视频编码中CTU的划分，可以减少视频编码的时间，提高视频编码的效率。

发明内容

本发明的目的是针对当前技术上存在的需求，提供一种均值模型、插值模型以及预测模型相结合的方法对CU(Coding Unit编码单元)的划分结果进行预测。对于一幅图像，CU的大小是和图像内容相关的，图像的本质就是由像素组成的一个多维数组，方差是衡量一个数据差异的特殊值，反映在图像上可以表示一幅图像的复杂度。如果图像的像素值存在较大的差异，其方差值会比较大，说明图像包含的信息比较多，CU倾向于划分成更小的CU，如果图像的像素值几乎相等，说明图像的内容是趋于平缓的，CU的大小基本保持不变。本发明提供一个均值模型学习图像的均值，差值模型学习图像的方差，最后提供一个预测模型预测CU的划分结果。

本发明至少通过如下技术方案之一实现。

一种基于图像复杂度的多模型融合的CU划分方法，包括以下步骤：

根据图像像素的方差作为图像复杂度建立混合模型；

构建不同的数据集训练所述的混合模型；

使用训练后的混合模型优化HEVC，优化过程包括：根据HEVC中编码单元的大小，选择相应的混合模型对视频编码框架进行优化。