[发明专利]多视角视频码流的实时传输同步控制方法

说明书

技术领域

本发明涉及一种图像通信技术领域的控制方法，具体是一种多视角视频码流的实时传输同步控制方法。 

背景技术

网络立体电视系统除涉及到立体电视相关的节目制作、立体电视视频格式、立体视频压缩编码及码流的系统复用、立体电视视频码流的解码、立体电视显示等多个环节外，由于立体视频比传统的平面二维视频具有更多视角的同步视频需要编码、传输，在与网络电视传输技术结合时，更涉及到多视角同步立体视频信号的网络同步可信传输与控制。基于向下兼容性的考虑，即多视角立体视频不仅要能满足自由视立体显示终端的要求，同时也要满足戴眼镜的双视立体显示终端或传统平面电视终端的要求，同时考虑接入网络传输带宽的利用效率，多视角立体视频码流传输时必须做到传输带宽与各类异构终端的自匹配，即要求各个视角编码后的视频码流能够分离独立传输，终端可以选择性地接收单个视角、其中两个视角或者全部视角的视频码流。针对这一点，多视角立体视频传输方法大致分两类，一类可以称为软分离，即通过设置包头标记以区分码流中来自不同视角的数据包，但这种方法并没有实现真正的多视角立体视频码流分离，而是采用时分复用的模式通过单个实时传输流进行传输。另一类可以称为硬分离，即将各个视角的码流分离后通过不同的实时传输流发送，但需要解决各视角码流间的同步问题。在终端，多视角码流只有同步接收、解码并播放，才能产生良好的立体效果。但由于包交换网络的复杂性、时延差异存在的客观性，以及不同的阻塞状况而产生的时延、抖动和丢包，很难保证多视角码流的同步接收。所以，无论是软分离还是硬分离方案，多视角独立传输系统都需要使用一套同步控制机制，包括应用RTP(Real-time Transport Protocol  实时传输协议)协议的同步机制，来协调各个视角码流的同步问题。 

经典的MVP(Multi-View Profile多视角档次)方案只支持两个视角，主视 角以普通MPEG-2方式编码，第二个视角信息作为增强层与主视角合成后直接通过MPEG-2的TS流传输。在这种方案中两个视角是高度耦合的，优点在于不需要额外的同步机制，两个视角码流天然同步，直接依赖传统单视角传输方案传输。缺点是不能实现视角分离，给传统单视角用户带来额外的网络负担。同时，这种方案由于增强层数量的有限，也就限制了视角数目的扩展，无法适应两个以上视角的应用。 

经对现有技术文献的检索发现，在应用MVC(Multi-View Coding多视角视频编码)方案的多视角系统中，普遍的各视角视频同步方法具有代表性的比如Jongryool Kim和JongWon Kim于2008年5月在IEEE Transact ions on ConsumerElectronics(IEEE消费电子学报)(vol.54，No.2)上发表的“Real-TimeSynchronous Multi-View Video Transport System”(实时多视角视频传输系统同步方法)一文，针对多视传输方案进行了探讨，并设计了一套多视码流同步控制机制，同步方法简述如下，各视角视频之间依靠视频采集时增加硬件同步时钟的方法来实现，网络传输时采用软分离的方式，简单地依靠实时传输流协议(RTP协议)中的包序号来进行各视角视频码流的内部同步。该设计方案在特定实验环境下可以应用，但存在如下缺点：1、该方案各视角视频码流间同步完全依赖硬件同步时钟，视频采集时必须配备精确的硬件同步设备，系统造价高昂。2、该方案采用软分离的方式进行多视角码流分离，只能在四层协议以上才能区分视角，而一般的路由交换设备只能解析到三层协议，这对整个传输路径中的路由设备提高了要求。3、该方案简单采用时分复用模式，传统平面解码显示终端接收单视角码流时，接收瞬时码率呈现方块效应，码流极不稳定，需要终端网络接收设备有更强的抗抖动能力。4、传输流参数扩展设置只支持左右视码流，不适用两个以上视角的多视视频码流的传输，限制的系统的应用范围。 

发明内容

本发明的目的在于克服现有技术的不足，提供一种有效的多视角视频码流实时传输同步控制方法。本发明在MVC多视角视频码流分离编码的基础上，对各个视角视频码流进行缓冲平滑重整，从根本上有效改善视频码流传输时由于视角各异造成的巨大码率抖动，提高多视角视频码流实时传输质量。 

本发明是通过以下技术方案实现的，本发明包括以下步骤： 

第一步：对编码器生成的多视角复用码流进行解析，将各码流分离后分别缓冲到为各个视角独立设置的缓冲队列；