[发明专利]一种基于自由视点的编解码方法及装置

说明书

本说明书实施例提供了一种基于自由视点的编解码方法及装置，属于视频编码技术领域。该方法包括：在服务端，基于多路单视点视频，生成平面拼接图及拼接信息；基于所述平面拼接图，生成平面拼接视频；基于多路单视点视频中存在的摄像机辅助信息，生成所述平面拼接视频的摄像机辅助信息；对所述平面拼接视频、所述拼接信息及所述平面拼接视频的摄像机辅助信息进行编码，生成平面拼接视频码流。在客户端，解码平面拼接视频码流，根据观看者的视点信息，得到虚拟视点。采用本说明书提供的方法，能够实现在客户端进行自由视点的合成，从而降低观看延迟，减轻服务端计算压力，改善观看体验。

技术领域

本发明涉及视频编码技术领域，尤其涉及一种基于自由视点的编解码方法及装置。

背景技术

自由视点的应用，使得观看者可以在一定范围内以连续视点的形式观看视频。观看者可以自由选择视点的位置、角度，观看角度不再局限于一个或几个固定的摄像机视角。由于自由视点是连续的，因此无法预先生成所有可能的视点进行存储和传输，现有技术基于客户端采集观察者当前时刻选定的位置、角度等视点信息，在服务端生成指定视点的视频，传输到客户端供观看者进行观看。现有技术存在一定的局限性，一方面，客户端视点信息传输回服务端，存在一定的延迟，影像观看体验；另外一方面，当存在大量客户端观看视频时，会对服务端造成巨大的计算压力，因此难以大规模应用。

因此，需要一种新的方法，能够改善观看体验，降低观看延迟，减轻服务端计算压力。

发明内容

本说明书实施例提供一种基于自由视点的编解码方法及装置，用于解决以下技术问题：现有技术存在一定的局限性，一方面，客户端视点信息传输回服务端，存在一定的延迟，影像观看体验；另外一方面，当存在大量客户端观看视频时，会对服务端造成巨大的计算压力，因此难以大规模应用。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供一种基于自由视点的编码方法，包括：

在服务端，基于多路单视点视频，生成平面拼接图及拼接信息；

基于所述平面拼接图，生成平面拼接视频；

基于多路单视点视频中存在的摄像机辅助信息，生成所述平面拼接视频的摄像机辅助信息；

对所述平面拼接视频、所述拼接信息及所述平面拼接视频的摄像机辅助信息进行编码，生成平面拼接视频码流。

优选地，所述基于多路单视点视频，生成平面拼接图，具体包括：

将所述多路单视点视频中同一时刻采集的图像以拼接矩阵的形式进行拼接，生成第一临时拼接图；

将所述多路单视点视频中同一时刻采集的图像对应的深度图以拼接矩阵的形式进行拼接，生成第二临时拼接图；

按照预设的拼接方式，将所述第一临时拼接图和所述第二临时拼接图进行拼接，生成平面拼接图。

优选地，所述预设的拼接方式是指所述将所述第一临时拼接图和所述第二临时拼接图进行拼接时，所述第一临时拼接图和所述第二临时拼接图按照左右方式或者上下方式进行拼接。

优选地，所述多路单视点视频中同一时刻采集的图像在所述第一临时拼接图中的排布关系与所述多路单视点视频中同一时刻采集的图像对应的深度图在所述第二临时拼接图中的排布关系相同，所述多路单视点视频中各路视点的图像及其对应的深度图分别位于所述第一临时拼接图和所述第二临时拼接图的相同位置。

优选地，所述拼接信息用于记录所述生成平面拼接图的信息，包括所述多路单视点视频的单视点个数、拼接矩阵的尺寸、所述预设的拼接方式及所述第一临时拼接图或所述第二临时拼接图在所述平面拼接图中的位置。