[发明专利]一种自由视点视频导播系统

说明书

本发明公开了一种自由视点视频导播系统，包括发送端和接收端，所述发送端与接收端之间采用RTP/RTCP通信协议进行连接和传输，所述发送端包括多个场景摄像机和编码端，所述编码端设置于多个场景摄像机的输出端，所述接收端包括解码端和用户端，所述用户端设置于解码端的输出端；所述多个场景摄像机一定的排列配置对场景进行采样，对视频数据进行收集；所述发送端负责深度信息的获取。本发明通过利用发送端负责深度信息的获取，以及将各路视频信息和对于的深度的组合到一起联合压缩并传送，接收端负责利用深度信息生成新视点，对任务进行合理分配，在降低接收端的计算量的基础上尽可能的降低了信息的传输量。

技术领域

本发明涉及视频播放技术领域，特别涉及一种自由视点视频导播系统。

背景技术

频/影视系统已成为当前信息化社会中最具影响力的大众传播媒体。传统视频/影视系统中，观众只能被动地接受拍摄者或导播员的视角选择或镜头切换，且在视角或镜头切换时存在视点位置和视频画面的跳跃，导致观众缺乏观看时的临场感和现场感。

随着近年来数字多媒体技术的快速发展，人们对于视频观看过程中的自主性及感官体验提出了更高的要求。在这种背景下，自由视点视频应运而生。自由视点视频通过多像机视频合成和虚拟视点插值等技术，可以提供场景任意角度和尺度的视频信息，使得观看过程中具有更好的自由度和三维沉浸感。现有的自由视点视频技术根据基本原理可分为两类。第一种是基于三维模型的方法，为得到场景中任意视点的图像，需将场景进行三维建模，然后根据选择的视点位置，通过三维重投影技术生成虚拟视点图像。第二种是基于二维图像插值方法，该方法是根据选择的视点位置，从已得到的离散视点图像中选取相邻视点图像,通过插值技术合成生成一幅虚拟视点图像。但是该类方法信息传输量过大，对用户端要求高，需要强大的运算能力，增加了运算负担。

因此，发明一种自由视点视频导播系统来解决上述问题很有必要。

发明内容

本发明的目的在于提供一种自由视点视频导播系统，通过利用发送端负责深度信息的获取，以及将各路视频信息和对于的深度的组合到一起联合压缩并传送，接收端负责利用深度信息生成新视点，对任务进行合理分配，在降低接收端的计算量的基础上尽可能的降低了信息的传输量，将复杂的运算交给了具有强大运算能力的发送端，降低了接收端的运算负担，用户端只需要承担相对轻量的新视点合成任务，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种自由视点视频导播系统，包括发送端和接收端，所述发送端与接收端之间采用RTP/RTCP通信协议进行连接和传输，所述发送端包括多个场景摄像机和编码端，所述编码端设置于多个场景摄像机的输出端，所述接收端包括解码端和用户端，所述用户端设置于解码端的输出端；

所述多个场景摄像机一定的排列配置对场景进行采样，对视频数据进行收集；

所述发送端负责深度信息的获取，以及将各路视频信息和对于的深度的组合到一起联合压缩并传送，接收端负责利用深度信息生产新视点；

多个场景摄像机在对场景完成自由视点视频采集后，将各路视频流送入编码端；

所述编码端对视频信息进行颜色校正后，并对视频进行编码，同时进行场景深度信息的获取，对视频信息内的不同视点的画面之间进行几何校正，利用立体匹配，得到场景视点间的稠密时差场，通过场景摄像机标定数据，对时差与深度之间的关系进行相互转换，并获取各个视点的深度信息，将深度信息、场景摄像机标定数据和压缩后的自由视点视频码流一起打包进行发送，传输至接收端内；

所述解码端根据用户选择的观看视点，从参考视点码流中选择距离虚拟视点左右最近的两个已知视点作为参考视点，将这两个视点的码流数据分别提取出来，使用JMVC解码工具解码，分别得到参考视点的视频画面和深度值，根据这两个参考视点的信息和摄像机标定数据，使用DIBR绘制方法得到虚拟视点的图像，并将图像传输至用户端进行播放。