[发明专利]IP化视频制播系统中音视频监测方法

说明书

本发明提供IP化视频制播系统中音视频监测方法，可打破国外专业设备一体机的限制，在软件层面实现了便于我们的研究与数据包层面的控制更改。发明采用采集缓存、解析、播放多线程并发的高效形式，通过视频数据流捕获、计算具备不同视频格式适应性初始队列长度、阻塞队列数据缓存、视频数据处理、视频监测与显示五个主要步骤实现IP化视频流的实时解析与监测。本发明可根据不同视频格式适应性队列长度的阻塞队列来缓存视频数据，以及针对视频封装标准的精准解封装和数据处理，达到了低时延、低丢包率的实时视频解析和监测。该方法适用于SMPTE ST 2022‑6或SMPTE ST 2110‑20标准下的标清、高清、超高清不同清晰度的视频格式。

技术领域：

本发明主要涉及媒体视频制作IP化过程中的基带视频流解析和监测，主要考虑IP基带视频流解析系统的解析监测方法及其装置问题。

IP基带视频流解析监测技术是视频制作全IP化中的一项关键技术，目前仅国外厂商掌握该项技术方法，利用专业设备一体机，监测IP层信号传输、解析的准确性及系统延时，并实时观测视频解析效果。这种专业一体机具有非常高昂的价格，且是基于国外电视媒体系统标准进行解析监测，采用硬件板卡烧制固定程序，不便于我们的研究与数据包层面的控制更改。SMPTE ST 2022和SMPTE ST 2110系列协议的标准，不仅规范了专业视频封装成IP数据包格式，还提供了通过IP方式传输高质量视频信号方法。其中SMPTE 2022-6定义了SDI格式的封装，基于实时传输协议(RTP)和高比特率媒体传输协议(HBRMT)。HBRMT是高比特率传输流的缩写，这里的高比特率是为了跟其他的传输压缩信号区分开来。每一个IP数据包含有1376字节的 SDI数据，为了使每一帧的IP包排列整齐，每帧的最后一个包用零字节填充。 SMPTE ST 2110系列标准将信号的视频、音频及辅助数据各个部分放入不同的流中，单独发送，接收方可以直接单独获取他们想要的流。其中ST 2110-20 规定了在IP网络上基于实时，基于RTP的未压缩活动视频基本的封装及传输格式。ST 2110-20和ST 2022-6传输视频流的区别之在于，为接收和解释流所必需的图像技术元数据定义了专门的基于SDP(会话描述协议)的信令方法，主要传输的内容有采样结构、比特深度、帧率等必需的媒体类型参数和隔行扫描、逐行分段、TCS等带默认值的媒体参数类型。SMPTE ST 2022和SMPTE ST 2110标准使得在现有广播电视基础上，通过IP网络灵活地传输未压缩的视频、音频与辅助数据成为可能。

我们研究团队设计研发了一套具有自主知识产权的运行在普通性能通用计算机上的软件装置，实现数据缓存及处理机制可控制化，低门槛与低成本实现IP基带视频流的解析与系统监测。下面将提出IP视频解析的实现方法及监测指标，并且以我们的系统为例介绍实际使用装置及数据结果。

发明内容

本发明目的在于提供一种新的基于通用计算机运行的软件装置实现IP视频流实时解析与监测的方法，以解决IP视频系统的数据处理透明可控制化、视频流解析技术国产化、通用化的问题。

实现IP视频的解析与监测，需视频数据流捕获、数据存储、视频数据处理(包括解封装、提取像素、缓存像素处理)、视频监测与显示几项复杂操作。其中视频数据流捕获主要依赖于WinPcap实现，可将数据存储在本地 PCAP文件，并实时读取本地PCAP文件进行数据处理，视频数据处理依赖 ST 2022-6、ST 2110等封装协议实现，视频监测与显示通过SDL实现，但是这些仅能在软件方面实现高延时、高丢包率视频的解析与播放，效果较差。

因此，实现一种基于通用计算机运行的软件装置的低延时、低丢包率实时IP视频流解析与监测则为本发明的一大重点和亮点，它需要对数据存储进行更深层次的复杂操作，即需要一个可以实时缓存视频流数据包的装置，来保证IP视频流的实时输入和输出，并且该装置可以自动判断是否为视频流数据包。该装置可打破国外专业设备一体机的限制，在软件层面实现了便于我们的研究与数据包层面的控制更改。