[发明专利]即时通信视频的处理方法、装置和电子设备

说明书

本发明提供了一种即时通信视频的处理方法、装置和电子设备，获取即时通信下当前指定时间段内的多路待混流视频；基于混流参数对多路待混流视频进行混流处理，得到一路混流视频；对多路待混流视频和混流视频进行质量评价，得到第一评价结果和第二评价结果；基于第一评价结果和第二评价结果，调整对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理的混流参数。该方式能够对混流前后的视频进行准确地质量评价；同时本发明通过即时通信视频的质量评价结果自适应调整混流参数，提高了即时通信视频的质量。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种即时通信视频的处理方法、装置和电子设备。

背景技术

随着直播连麦、实时通信等相关技术的发展，RTC(Real-Time Communication，即时通信)场景应用呈现爆炸式增长，比如直播带货、云游戏、直播教学等。在进行多人RTC通话过程中，通常需要在高性能服务器上对即时通信视频进行混流转码(混流转码是指将多路音视频进行预处理、编码处理后，合并为一路音视频的操作)，且混流转码后的视频质量直接关系到接收方接收的视频质量，因此对混流前后的视频进行质量监控成为保证RTC高质量视频通话的关键环节。

相关技术中，通常采用PSNR(Peak Signal to Noise Ratio，峰值信噪比)、SSIM(Structural Similarity，结构相似性)等客观指标对混流前后的视频进行质量评价，通过计算混流转码前后的视频的全参考指标，对混流转码进行监控。但是，上述全参考质量评价算法适用于高清视频，而RTC通话中，视频质量通常不高；而且在混流转码过程中，会对每一路视频进行视频预处理操作，而上述全参考质量评价算法难以对经过预处理、编码等复杂操作的视频进行准确预测；因而，上述全参考质量评价算法难以准确预测RTC通话的视频质量，从而难以对RTC通话视频进行准确的质量监控。

发明内容

本发明的目的在于提供一种即时通信视频的处理方法、装置和电子设备，以提高即时通信的视频质量评价，从而对即时通信视频进行准确的质量监控。

第一方面，本发明提供了一种即时通信视频的处理方法，该方法包括：获取即时通信下当前指定时间段内的多路待混流视频；基于混流参数，对多路待混流视频进行混流处理，得到一路混流视频；对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果；基于第一评价结果和第二评价结果，调整混流参数，以通过调整后的混流参数对当前指定时间段的下一个指定时间段内的多路混流视频进行混流处理。

在可选的实施方式中，上述对多路待混流视频进行质量评价得到第一评价结果，对混流视频进行质量评价得到第二评价结果的步骤，包括：针对多路待混流视频中每路待混流视频，通过预先训练完成的无参考视频质量评价模型或无参考图像质量评价模型，对当前待混流视频进行质量评价，得到当前待混流视频的质量评价结果；组合每路待混流视频的质量评价结果，得到第一评价结果；采用无参考质量评价的方式，对混流视频进行质量评价，得到混流视频的第二评价结果。

在可选的实施方式中，上述通过预先训练完成的无参考视频质量评价模型，对当前待混流视频进行质量评价，得到当前待混流视频的质量评价结果的步骤，包括：从当前待混流视频中抽取多帧视频，将多帧视频输入至无参考视频质量评价模型中，得到当前待混流视频的质量评价结果。

在可选的实施方式中，上述通过预先训练完成的无参考图像质量评价模型，对当前待混流视频进行质量评价，得到当前待混流视频的质量评价结果的步骤，包括：从当前待混流视频中抽取多个视频帧图像；将每个视频帧图像依次输入至无参考图像质量评价模型中，得到每个视频帧图像对应的质量评价结果；计算每个视频帧图像对应的质量评价结果的平均值，将平均值作为当前待混流视频的质量评价结果。

在可选的实施方式中，上述采用无参考质量评价的方式，对混流视频进行质量评价，得到混流视频的第二评价结果的步骤，包括：通过无参考视频质量评价模型或无参考图像质量评价模型，对混流视频进行质量评价，得到混流视频的第二评价结果。