[发明专利]一种处理子块图像的方法及装置

说明书

本发明提供了一种处理子块图像的方法及装置。该发明用于多媒体领域中，从多视点子块拼接图像的码流中提取子块图像，并利用子块图像渲染为目标图像。本发明给出的方法可以有效降低视点子块拼接图像的码流中子块图像信息所消耗的数据量，提升编码性能。本发明在提出一种处理子块图像的方法的同时，还提出了相应的装置。

技术领域

本发明专利属于子块图像处理领域，具体涉及一种从多视点子块拼接图像中提取子块图像，并利用子块图像渲染目标图像的方法和装置。

背景技术

“沉浸感”作为一种主观评价，是指观看者对多媒体系统建立、显示出来的虚拟场景的感知代入感。随着采集设备和显示设备的能力逐年增强，沉浸式媒体作为一种能够带给观看者强沉浸感的视觉多媒体，其编码、传输和渲染已经成为了市场和研究热点。

随着沉浸式媒体支持观看者观看自由度增加，其带给观看者的视觉沉浸感得到明显增强。观看自由度指的是支持观看者在三维空间沿轴平移和绕三个轴旋转。观看者可以在限定空间中任意移动位置、改变朝向来观看场景，从而获得交互感和运动视差，形成更强的视觉沉浸感。

为了支持多自由度观看场景，沉浸式媒体需要渲染限定空间中任意位置、任意朝向的目标。多视点图像+深度信息是一种有效的沉浸式媒体表达方式，它有多个纹理图像以及对应的深度信息组成的。利用基于深度图像的视点合成技术，该表达方式可以根据任意目标图像的相机参数渲染得到目标图像。但是由于多个视点之间存在巨大的视点间冗余，传输多个视点图像会造成编解码的浪费。

多视点子块拼接图像有效地解决了这个问题。如图2所示，在编解码之前，通过分析多个视点之间特征信息，从每个单视点图像中提取出一个个子块图像，最后将多个子块图像拼接成多视点子块拼接图像。经过这样的操作，需要传输的图像数据量得到了大大的下降，编解码可以有效提升。但是又引发了一个新的问题，多个子块图像被提取、拼接在一起，用于描述子块图像的信息数量显著上升，这也会造成编解码效率的下降。

目前子块图像信息包括但不限于：子块图像的宽度、高度、该子块图像的左上角像素在多视点像中的位置和子块图像的左上角像素在单视点图像中的位置信息，其中，每个信息都用固定长度的二进制位来表示。这些信息不经过熵编码直接存入码流中，随着子块数量的增加，子块图像信息的数据量消耗会更加严重。

发明内容

为了解决上述技术问题，本发明提出了一种处理子块图像的方法及装置。对于子块图像的宽度、高度、该子块图像的左上角像素在多视点像中的位置和子块图像的左上角像素在单视点图像中的位置信息，只需要将这些信息的部分传入码流中。对于解码端，通过计算，从码流中可以恢复出这些信息的完整部分。这样节省子块图像的信息所占的数据量，在相同的码率下，提升多视点子块拼接图像的编码质量和合成目标图像的质量。

本发明的第一目的是提供处理子块图像的方法，包括如下内容：

对于多视点子块拼接图像中的至少一个子块图像，从码流中获取该子块图像的信息，包括：宽度信息w、高度信息h、该子块图像的左上角像素在多视点子块拼接图像中的位置信息(xp,yp)、子块图像的左上角像素在单视点图像中的位置信息(xs,ys)和所述单视点图像的相机参数，其中，w和h 各自是m₁位二进制数,w^(j)表示为w从低到高的第j个二进制位，j从1开始，xp,yp各自是m₂位二进制数，xs,ys各自是m₃位二进制数；