[发明专利]基于屏幕内容视频的CU分割方法和装置

说明书

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。

技术领域

本发明涉及图像处理领域，更具体而言，涉及高效视频编码(HEVC)，再更具体而言，涉及在HEVC中基于屏幕内容视频进行CU分割的方法和装置。

背景技术

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(High efficiency video coding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。

HEVC标准的第一版已经在2013年的一月份完成。后继补充工作准备扩展该标准支持几个额外的应用环境。这些应用包括增强精度和彩色格式等扩展范围的使用，可伸缩视频编码，以及3-D/立体/多视角视频编码。HEVC将被设计成一个能广泛用在各式消费电子产品的应用中的视频编码标准，而且这种标准能处理各种内容的视频包括屏幕内容的视频。

屏幕内容就是由电视、电脑、手机等电子设备产生或描绘的图像或者视频。这些内容已经用在许多应用上了，而且可以期待在将来会有更多的屏幕内容的应用情景出现。这些应用可以被总结为如下：办公应用；文本嵌入到自然视频中；流媒体或者在线游戏的视频流；包含上述内容的任意组合的混合视频。

屏幕内容就是由电视、电脑、手机等电子设备产生或描绘的图像或者视频。这些内容已经用在许多应用上了，而且可以期待在将来会有更多的屏幕内容的应用情景出现。这些应用可以被总结为如下：办公应用；文本嵌入到自然视频中；流媒体或者在线游戏的视频流；包含上述内容的任意组合的混合视频。图2展示了几个屏幕内容的图片或者视频的例子，其中，(a)-(d)分别为HEVC中常见的实例BasketballPassText，ChinaSpeed，SlideEditing和SlideShow。在大多数屏幕内容的文本的应用中会存在大量的锐利的边缘，或者有大面积的平坦的背景，这种特性和用镜头捕获的图像不同。因为光学镜头减弱了图像的高频成分，所以镜头捕获的视频往往比较平滑。因此屏幕内容往往有不同于自然图像和视频的统计特性。这意味着用于屏幕内容的编码方案可能与自然图像中用的完全不同。

随着HEVC的发展，近些年有许多研究屏幕内容编码的成果出现。然而，这些工作都主要关注于压缩性能而忽视了巨大的编码复杂度。由于大部分的屏幕内容的应用都对实时性有较高的要求，所以我们需要有能减少编码端复杂度的快速算法。另一方面，许多研究工作都致力于研究减少HEVC编码复杂度，而且都声称大大的减少了编码时间。然而，这些方法并不一定适合屏幕内容编码。

为了解决这些问题，本文提出一个新颖的适用于屏幕内容编码的HEVC快速算法。因为屏幕内容跟自然图像有着完全不同的统计特性，所以我们首先对几个屏幕内容的视频序列进行统计分析。然后，根据频幕内容的统计特性，提出一个快速编码单元(coding unit，CU)分块方法用于HEVC帧内预测来减少视频(特别是频幕内容的视频)编码复杂度。

发明内容

根据本发明的一个方面，一种在高效视频编码(HEVC)中进行编码单元(CU)快速分块的方法，包括：

在编码树单元(CTU)中确定所有平滑分块；