[发明专利]一种基于自由视点的编解码方法及装置

权利要求书

1.一种基于自由视点的编码方法，其特征在于，包括：

在服务端，将多路单视点视频中同一时刻采集的图像以拼接矩阵的形式进行拼接，生成第一临时拼接图；

将所述多路单视点视频中同一时刻采集的图像对应的深度图以拼接矩阵的形式进行拼接，生成第二临时拼接图；

按照预设的拼接方式，将所述第一临时拼接图和所述第二临时拼接图进行拼接，生成平面拼接图；

基于所述平面拼接图，生成平面拼接视频；

基于多路单视点视频中存在的摄像机辅助信息，生成所述平面拼接视频的摄像机辅助信息，所述多路单视点视频中存在的摄像机辅助信息用于记录摄像机的相关信息，所述多路单视点视频中存在的摄像机辅助信息至少包括：摄像机外参数，摄像机内参数，镜头畸变参数，光圈，曝光时间，曝光补偿参数，白平衡参数，色温中的一种或几种，所述平面拼接视频的摄像机辅助信息的组成包括：信息长度和信息数据，所述信息长度用于记录信息数据的长度，所述信息数据用于记录所述多路单视点视频中存在的摄像机辅助信息的相关内容；

对所述平面拼接视频、所述拼接信息及所述平面拼接视频的摄像机辅助信息进行编码，生成平面拼接视频码流，所述拼接信息用于记录生成所述平面拼接图的信息，所述拼接信息至少包括所述多路单视点视频的单视点个数、拼接矩阵的尺寸、预设的拼接方式、所述第一临时拼接图或所述第二临时拼接图在平面拼接图中的位置中的一种或几种。

2.如权利要求1所述的方法，其特征在于，所述预设的拼接方式是指所述将所述第一临时拼接图和所述第二临时拼接图进行拼接时，所述第一临时拼接图和所述第二临时拼接图按照左右方式或者上下方式进行拼接。

3.如权利要求1所述的方法，其特征在于，所述多路单视点视频中同一时刻采集的图像在所述第一临时拼接图中的排布关系与所述多路单视点视频中同一时刻采集的图像对应的深度图在所述第二临时拼接图中的排布关系相同，所述多路单视点视频中各路视点的图像及其对应的深度图分别位于所述第一临时拼接图和所述第二临时拼接图的相同位置。

4.如权利要求1所述的方法，其特征在于，所述拼接信息用于记录所述生成平面拼接图的信息，包括所述多路单视点视频的单视点个数、拼接矩阵的尺寸、所述预设的拼接方式及所述第一临时拼接图或所述第二临时拼接图在所述平面拼接图中的位置。

5.如权利要求1所述的方法，其特征在于，所述基于多路单视点视频中存在的摄像机辅助信息，生成所述平面拼接视频的摄像机辅助信息，具体包括：

若所述多路单视点视频的摄像机辅助信息中存在序列级摄像机辅助信息，将所述序列级摄像机辅助信息拼接成为所述平面拼接视频的序列级摄像机辅助信息，所述序列级摄像机辅助信息是在拍摄过程中，所述各路单视点视频中保持不变的摄像机辅助信息；

若所述多路单视点视频的摄像机辅助信息中存在图像级摄像机辅助信息，将所述图像级摄像机辅助信息拼接成为所述平面拼接视频的图像级摄像机辅助信息，所述图像级摄像机辅助信息是在拍摄过程中，所述各路单视点视频中发生改变的摄像机辅助信息。

6.如权利要求1或5所述的方法，其特征在于，所述摄像机辅助信息包括信息长度和信息数据。

7.如权利要求1所述的方法，其特征在于，所述平面拼接视频码流包括序列头、序列级扩展数据段及多个图像数据，其中，所述图像数据包括图像头、图像级扩展数据段和图像编码数据。

8.如权利要求5或7所述的方法，其特征在于，所述拼接信息、所述平面拼接视频的序列级摄像机辅助信息存放于所述平面拼接视频码流的序列级扩展数据段中，所述平面拼接视频的图像级摄像机辅助信息存放于所述平面拼接视频码流的图像级扩展数据段中。