[发明专利]一种网络监控系统中音视频同步方法

权利要求书

1.一种网络监控系统中音视频同步方法，其特征在于：所述同步方法包括以下步骤：

（1）视频通过TW2835芯片自带的硬件压缩实现数据压缩，生成H.264数据，音频则通过软件压缩生成G.729数据格式；接着将其送入RTP库进行封装、发送；

所述RTP包头包括序列号和时间戳，在数据的发送过程中，每个发送出去的RTP数据包中的序列号都是逐一增加的，时间戳标识着音视频数据的采集时刻；

（2）从网络中接收到的数据包去掉IP包头和UDP包头以后，首先根据RTP包头中的负载类型决定将RTP包放入音频或是视频缓冲区，然后再根据RTP包中的序列号字段的顺序将RTP包中的负载数据插入到缓冲区正确位置中；

网络数据接收开始后，音、视频缓冲区都会预存适量的数据包；当音、视频流的数据填满预存区后，同时开始播放；同步以音频流为时间主导，通过调整视频对象来实现音视频的同步。

2.如权利要求1所述的网络监控系统中音视频同步方法，其特征在于：所述步骤（2）中，以音频的时间戳作为相对参考时间，回放开始后，以恒定的速率将音频数据从缓冲区取出送入解码器，并且记载下缓冲区第一块数据的时间戳A_T，然后将A_T与视频缓冲区第一块数据的时间戳V_T进行比较，根据两者的差值A_T—V_T决定视频数据的推送速率以及视频的播放速率，具体实现为：

2.1)当-100ms≤A_T-V_T≤100ms时，音视频缓冲按正常速率推送数据，播放的速率亦保持不变；

2.2）当100ms≤|A_T-V_T|≤160ms时，需要进行同步调整；

①若100ms≤A_T-V_T≤160ms，即音频超前视频，则加快推送视频缓冲中的数据，加快视频的播放速率，使音视频时间戳趋向于相同；

②若-160ms≤A_T-V_T≤-100ms，即音频滞后视频，则减慢视频缓冲的推送速率，降低视频的播放速率，使音视频时间戳趋向于相同；

2.3）当|A_T-V_T|≥160ms时需要重新进行同步；

①若A_T-V_T≥160ms，即音频严重超前视频，则丢弃视频缓冲区中最老的视频包，直至A_T=V_T，开始以正常速率启动回放；

②若A_T-V_T≤-160ms，即音频严重滞后视频，则丢弃音频缓冲区中最老的音频包，直至A_T=V_T，开始以正常速率启动回放。

3.如权利要求1或2所述的网络监控系统中音视频同步方法，其特征在于：所述缓冲区是一个数据链表，所述数据链表包括数据节点，每种媒体流具有两种数据节点，一种是空闲的数据节点FreeDatanode，一种是使用中的数据节点BusyDatanode；当有新的RTP包接收到，就申请一个FreeDatanode作为BusyDatanode，写入RTP包中负载的媒体数据和RTP包的序列号，并且根据该序列号将此BusyDatanode插入到缓冲区的正确位置，以恢复缓冲区中媒体数据的原有时间关系；当

BusyDatanode数据节点中的数据送入解码器进行播放后，

BusyDatanode将成为FreeDatanode。当FreeDatanode使用完，即缓冲区满了的时候，最老的BusyDatanode中的数据将被删除，它本身会自动转化成FreeDatanode。