[发明专利]监控音视频质量的方法和装置、系统、电子设备

说明书

本申请提出一种监控音视频质量的方法和装置、系统、电子设备，包括获取直播流的音视频数据文件；解码音视频数据文件生成原始音频数据和原始视频数据；评价原始音频数据的音频质量；评价原始视频数据的视频质量；通过预先训练的评价模型和音频质量评价结果、视频质量评价结果获取音视频数据文件的质量评分；利用质量评分对原始视频数据进行分类分析原始视频数据质量原因；监控音频质量评价结果和/或视频质量评价结果；若音频质量评价结果和/或视频质量评价结果出现异常，则报警。根据本申请的一些实施例，以自动化的方式对音视频数据的质量评分，节省了人力，且便于排查质量问题原因，提高了工作效率。

技术领域

本申请涉及视频直播领域，具体而言，涉及一种监控音视频质量的方法和装置、系统、电子设备。

背景技术

通常，根据直播活动生成音视频数据往往需要经历采集、前处理、编码、传输、解码、后处理和渲染播放等步骤。在前述的每一个步骤中都有可能引入质量损失，导致最终信息接受者观看到的内容变差。

目前，多利用人力对直播生成的音视频数据进行质量评分。这种方式具有很多缺点，比如，由于每个人的评判标准不同，质量评分结果受主观因素影响较大，非常消耗人力和时间，不能自动化工程化的分析音视频数据，无法在具有巨量的播放数据的工业领域推广应用。

发明内容

本申请提供了一种监控音视频质量的方法和装置、系统、电子设备，解放了人力，能够自动对对直播生成的音视频数据进行质量评分，便于行业推广应用。

根据本申请的一方面，提出一种监控音视频质量的方法，包括获取直播流的音视频数据文件；解码所述音视频数据文件生成原始音频数据和原始视频数据；评价所述原始音频数据的音频质量；评价所述原始视频数据的视频质量；通过预先训练的评价模型和音频质量评价结果、视频质量评价结果获取所述音视频数据文件的质量评分；利用所述质量评分对所述原始视频数据进行分类分析所述原始视频数据质量原因；监控所述音频质量评价结果和/或所述视频质量评价结果；若所述音频质量评价结果和/或所述视频质量评价结果出现异常，则报警。

根据一些实施例，所述预先训练的评价模型，包括获取训练用直播流的音视频数据文件及其人工质量评分；评价所述训练用直播流的音频质量；评价所述训练用直播流的视频质量；利用所述训练用直播流的音频质量评价结果、所述训练用直播流的视频质量评价结果和所述直播流的人工质量评分训练机器模型得到所述评价模型。

根据一些实施例，所述评价所述原始音频数据的音频质量，包括评估所述原始音频数据的音量；和/或评估所述原始音频数据的噪声；和/或评估所述原始音频数据的相位。

根据一些实施例，所述评价所述原始视频数据的视频质量，包括利用无参考的空域图像质量评价算法评价所述原始视频数据；和/或 利用梯度结构相似度算法评价所述原始视频数据。

根据一些实施例，所述利用无参考的空域图像质量评价算法评价所述原始视频数据，包括提取所述原始视频数据的自然场景统计信息；数据拟合所述自然场景统计信息以得到特征向量；利用预先训练的支持向量机模型和所述特征向量得到所述原始视频数据的质量评价。

根据一些实施例，所述利用梯度结构相似度算法评价所述原始视频数据包括构建所述原始视频数据的参考图像数据；提取所述原始视频数据和所述参考图像数据的梯度图像；找到所述原始视频数据的所述梯度图像中梯度信息最丰富的图像块以及所述参考图像数据的梯度图像中与之对应的图像块；计算所述原始视频数据和所述参考图像数据的所述图像块的梯度结构相似度。