[发明专利]IP化视频制播系统中音视频监测方法

权利要求书

1.IP化视频制播系统中音视频监测方法，其特征在于，该方法具体包括：

采用采集缓存、解析、播放多线程并发的高效形式，通过视频数据流捕获、计算具备不同视频格式适应性初始队列长度、阻塞队列数据缓存、视频数据处理、视频监测与显示五个主要步骤实现IP化视频流的实时解析与监测；

1)利用WinPcap嗅探网卡捕获数据包，首先创建一个网络设备链表以获取本机的适配器，并得到适配器的详细信息，详细信息包括名称、掩码、源/目的地址、广播地址，打开适配器并开始捕获视频数据包，同时设定所需捕获的数据最大字节数，并对数据流量过滤；

2)通过自适应性队列长度算法确定阻塞队列的长度，来保证实时视频解析和监测的低时延和低丢包率；

3)将采集到的视频数据缓存入阻塞队列；解析视频数据时从阻塞队列中取出；通过一个共享的阻塞队列，固定队列的数据出入口，数据由入口进入、出口处被取出，同时采用先进先出模式，保证队列中的数据被取出时的顺序与进入时的顺序是一致的；

4)ST 2022-6和ST 2110系列标准的视频封装协议从外到内包装的次序依次为：以太网、IP、UDP、RTP、最内部为无压缩的视频数据、音频和辅助数据；其中ST 2022-6标准中最内层封装的为上述描述的SDI数据格式，即HBRMT高比特率媒体传输协议，而在ST 2110系列标准中视频、音频、辅助数据根据相应的标准单独封装传输；在ST 2110-20标准最内层数据仅封装视频内容，即SDI数据格式中的数字有效行内容；根据不同的标准解封装协议头，获取协议头中的视频信息，判断、筛选、排列视频数据中有效的视频像素信息，进行视频帧图像信息的拼接，最后将一帧帧视频像素信息传入播放器；

5)视频监测与显示系统装置采用SDL多媒体开发库；SDL显示视频的流程主要分成两大部分：初始化和循环显示画面；初始化的流程又细分为初始化SDL、创建窗口、基于窗口创建渲染器、创建纹理四个大步骤；循环显示画面包括设置纹理的数据、纹理复制给渲染目标、显示。

2.如权利要求1所述的方法，其特征在于，所述步骤2)和4)具体为：

步骤2)：

阻塞队列的输入速率λ是指每秒采集经网络传输后到达队列的视频数据包的速率，由计算机直接根据一段时间内接收的数据包个数n除以相应时间t得到；输出速率μ是指视频播放时每秒解析播放数据包的速率，由视频播放的帧频(F)*每帧的数据包数得到；每帧的数据包数计算分两种情况：第一种情况，由ST2022-6标准封装的逐行扫描和隔行扫描视频和由ST 2110-20标准封装的逐行扫描视频每帧的数据包数等于两个连续帧中具备标志位M的数据包序列号Seq_num2和Seq_num1的差值；其中标志位M在代表这一个数据包为这一帧的最后一个数据包；第二种情况，由ST 2110-20标准封装的隔行扫描视频中标志位M表示一场的最后一个数据包，因此该隔行扫描的一帧数据包数需要一场的数据包数再乘2，其中超高清格式的视频没有隔行扫描格式；视频流的采集速率是恒定的，但是在IP网络传输过程中，队列的输入速率是变化的，长期稳态条件下小于或等于输出速率；

当输入速率小于输出速率时，队列长度L1等于视频流输出速率μ减去输入速率λ后，乘实时视频时长duration：

L1＝(μ-λ)*duration (1)

第一种情况：

L1_first＝[(Seq_num2-Seq_num1)*F-n/t]*duration (2)

第二种情况：

L1_second＝[(Seq_num2-Seq_num1)*F*2-n/t]*duration (3)

当输入速率等于输出速率时，队列长度L2等于输入抖动input_jitter,加初始解析播放延迟delay_len；在PTP同步前提下，网络的输入抖动由数据包中携带的RTP时间戳与接收到包的实际时间差表示；网络的输入抖动是指分组延迟的变化程度，变化具备随机性，因此采用一种最大抖动时延处理，具体实现为通过对到达数据包的时间间隔抖动测量和预测获得最大抖动队列长度input_jitter；或将一段时间的视频数据历史输入拟合多种数学模型，求出拟合度最高的到达数学模型，求出最大抖动队列长度input_jitter；初始解析播放延迟是指在视频流到来时，为防止网络抖动，先缓存一部分数据所需要的队列长度，再进行视频解析播放，以保障视频的输出流畅；初始解析播放延迟设计为缓存相应视频格式的一帧数据包的队列长度delay_len，即为两个连续帧中具备标志位M的数据包序列号Seq_num2和Seq_num1的差值，ST 2110-20封装的隔行扫描视频时需*2，超高清不包括隔行扫描，保证了播放过程中队列不会出现清空的状态；

L2＝input_jitter+delay_len (4)

第一种情况：

L2_first＝input_jitter+(Seq_num2-Seq_num1) (5)

第二种情况：

L2_second＝input_jitter+(Seq_num2-Seq_num1) *2 (6)

步骤4)：

在获取数据包后，根据SMPTE ST2022-6标准或ST2110系列标准，验证数据包格式是否符合标准规定，用数据包对应位置数值赋值结构体内各个字段及数组，完成视频数据参数的传递，包括视频宽高、帧率、色度采样、隔行/逐行参数的传递，根据宽高并新建相应字节大小的图像缓存区；在ST 2022-6标准中，通过对SDI数据格式中TRS的判断得到图像起始行的数据包，进而读取属于同一帧的数据包；然后根据SAV中的数字消隐信息封装格式，来剥除辅助数据、音频数据、其他数据，仅剩数字有效行的图像数据；在ST 2110-20标准中，直接根据RTP有效载荷标头的封装标准，通过长度、行数、偏移量的判断来获取视频帧的首包及同一帧的所有数据包；接着通过相邻字节拼接恢复出原始取样像素值元组，再结合计算机显示图像的特性，将原始元组像素数据进行处理，以方便图像显示；最后将图像对应像素的Y、Cb、Cr亮度色度进行赋值，直到图像缓存区完全被填满，便得到了一帧完整图像；重复数据处理过程，不断更新图像缓存区内的图像。