[发明专利]一种分布式解码设备及其音视频同步的方法有效
申请号: | 201910204274.5 | 申请日: | 2019-03-18 |
公开(公告)号: | CN111726669B | 公开(公告)日: | 2022-12-23 |
发明(设计)人: | 薛烽;乔莹 | 申请(专利权)人: | 浙江宇视科技有限公司 |
主分类号: | H04N21/43 | 分类号: | H04N21/43;H04N21/8547;H04N21/426;H04N7/18 |
代理公司: | 杭州君度专利代理事务所(特殊普通合伙) 33240 | 代理人: | 杨天娇 |
地址: | 310051 浙江省杭州市滨江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 解码 设备 及其 视频 同步 方法 | ||
本发明公开了一种分布式解码设备及其音视频同步的方法,当分布式解码设备内部分CPU不支持音频输出时,可将该路码流发送到支持音频输出的CPU上进行解码,视频数据仍由之前所属的CPU去解码。可以达到不同CPU之间的音视频同步,这样只要整个分布式解码设备内有一个CPU支持音频输出则可保证整个分布式解码设备支持音频输出,在实现该路码流音视频同步的同时,极大的降低了硬件成本。外接扩音设备只要始终连接在该CPU所属的音频输出通道上即可,配置上更加简单易用。
技术领域
本发明属于音视频解码技术领域,尤其涉及一种分布式解码设备及其音视频同步的方法。
背景技术
在视频监控系统中,经常需要通过解码设备,将某一相机采集的音视频信号进行解码输出,为了增加解码设备的解码能力,会采用分布式系统将多个CPU集成在同一设备中,或将多台解码设备进行级联,从而增加整个系统的解码及输出性能。在分布式解码设备中,包括一个主CPU和多个从CPU,所有CPU的业务都由主CPU分发配置,主CPU和从CPU之间可以通过某种方式进行通信(如PCIE,网路通信)。
在这种情况下,为了保证音视频的同步,传统做法是保证音视频在同一个设备的同一个CPU进行解码,若想实现任意输出通道的视音频同步输出,必须保证每一个CPU或每一个解码设备都支持音频输出,否则该CPU或该设备上只能输出视频,无法输出音频,对设备要求较高,使用限制较多,且配置比较复杂(音箱必须连接到支持音频输出的指定设备的指定通道才可输出音频,若要更换解码CPU则必须将音箱重新连接到指定的CPU通道上)。
现有技术为了保证音视频同步,在同一解码设备上,将新到的音频帧的时间戳作为同步的基准与视频帧的时间戳进行比较,如果它们之间的差值小于设定阈值时,音频帧和视频帧达到同步,顺序播放视频帧;否则对视频帧进行丢帧或者重复播放的操作使得音视频帧之间同步。但是这种技术方案只能应用于音视频在同一CPU上进行解码的情况,无法应用于分布式系统中,并且只有一级同步操作,同步性较差。特别在丢包环境下,音视频同步性较差。
发明内容
本发明的目的是提供一种分布式解码设备及其音视频同步的方法,解决了现有技术只能在同一CPU上进行音视频解码,而导致在分布式解码设备中音视频同步性较差的问题。
为了实现上述目的,本发明技术方案如下:
一种分布式解码设备音视频同步的方法,所述分布式解码设备包括主CPU和从CPU,所述分布式解码设备音视频同步的方法,包括:
分布式解码设备的主CPU接收音视频码流,以收到的第一个音视频帧或丢包后的第一个音视频帧为基准帧,根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳;
分布式解码设备的主CPU将音频数据发送到支持音频输出的CPU去解码,将视频数据发送到视频输出口所属的CPU去解码;
处理音频数据和视频数据的CPU接收到数据后,根据自己的时间与主CPU的时间差值,重新调整时间戳。
进一步地,所述分布式解码设备音视频同步的方法,还包括:
处理音频数据和视频数据的CPU分别对接收到的数据进行解码后,将解码后的数据存入缓存,计算刚进入缓存的音频或视频的时间戳与即将播放的音频或视频的时间戳的差值,若该差值与缓存内音频或视频的可播放时长的差的绝对值小于等于预设的阈值,则依次播放缓存内的各个音视频帧,否则填充静音数据或丢掉视频帧后进行播放。
进一步地,所述根据主CPU的时间和音视频码流自带时间戳为每个收到的音视频帧重新设定时间戳,包括:
将基准帧对应的主CPU的时间T0乘以转换参数K,转化为以Tick为单位,记为Tick0=T0*K;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江宇视科技有限公司,未经浙江宇视科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910204274.5/2.html,转载请声明来源钻瓜专利网。