[发明专利]一种多视角直播场景下同步视频帧的方法

说明书

本发明提出一种多视角直播场景下同步视频帧的方法，包括步骤：设定共享PTS；每个播放器渲染视频时，将当前要渲染的视频帧的PTS与共享PTS比对，小于共享PTS时不渲染，反之正常渲染；当播放器不渲染视频时，开启追帧模式，依次跳过所有PTS小于共享PTS的视频帧，直到视频帧的PTS大于等于共享PTS。本发明使得同步的延时可以降低到帧级别，达到超低的帧同步延时，能够保证多视角的多路视频流在的播放进度是一致的，大大提升了同步视频的精确度。

技术领域

本发明涉及视频数据处理技术领域，更具体涉及一种多视角直播场景下同步视频帧的方法。

背景技术

多视角直播场景中，同一场景的不同角度的多路视频流同屏同时播放，每一路视频的播放都独立，受到播放环境的影响，多路视频播放的内容经常不能同步，这会影响到用户的观看体验。比如，网络不稳定，导致某一路视频缓冲时间变长，进而导致视频播放进度落后；多路视频同时播放，会导致CPU负担过重，某路视频处理速度变慢，进而导致播放进度落后。

视频不同步现象会经常发生，目前的做法，基本都是根据视频的时间点进行同步，通过seek视频的方式，将多路视频跳转到同一时间点。但是这种方式虽然能做到视频同步，但效果并不理想，而且同步时间的方式延时比较高，不精确，同步时间后，过段时间还会出现视频不同步的现象，如果不断的seek播放器，会产生视频卡顿的现象。

发明内容

在多视角场景的导播台里面，摄像机在取景的时候，需要把多个摄像机的NTP时间调整同步，制作的节目视频源音视频要同步。为了解决视频同步的传统方式不精确、卡顿的问题，降低视频同步的延时，本发明提出以下解决方案。

一种多视角直播场景下同步视频帧的方法，其特征在于，包括步骤：

设定共享PTS （Presentation Time Stamp即显示时间戳）；

每个播放器解码和渲染视频时，将当前视频帧的PTS与共享PTS比对，小于共享PTS时不解码渲染，反之正常解码和渲染；

当播放器不解码渲染视频时，开启追帧模式，依次跳过所有PTS小于共享PTS的视频帧，直到视频帧的PTS大于等于共享PTS。

根据实际应用场景，所述共享PTS可以取各个播放器最新视频帧的PTS中的最大值。

或者，根据实际应用场景，所述共享PTS也可以取指定播放器最新视频帧的PTS。

更具体的，共享PTS存储在共享内存区，所有播放器均可访问并读取。

进一步的，在步骤设定共享PTS前还包括：

调整导播台多台摄像机的NTP时间，使其同步，同时调整制作的节目视频使其音视频同步。

本发明设计的同步方法，通过多个播放器共享PTS，并根据PTS来追最新的视频帧，从而达到同步视频帧的效果，具有同步的低延时特性，延时低至帧级别，有效解决了传统方式不精确、卡顿的问题，有效降低了视频同步的延时，能够做到帧级别的同步视频，大大提升了同步视频的精确度。

具体实施方式

一种多视角直播场景下同步视频帧的方法，其特征在于，包括步骤：

1. 调整导播台多台摄像机的NTP时间，使其同步，同时制作的节目视频要保证音视频同步，这一步是客户端播放的时候，同步视频的基础。

2. 开辟播放器内部的共享内存区：