[发明专利]多媒体处理方法、装置、设备和存储介质

说明书

本申请提供了一种多媒体处理方法、装置、设备和存储介质，该方法包括：分别解码获得的多媒体文件中各类型的媒体帧，得到多媒体文件解码出的至少一种类型的媒体队列；针对每个媒体队列，推算出媒体队列中各媒体帧的预估时间戳；针对每个媒体队列，如果基于媒体队列中媒体帧的时间戳与其预估时间戳确定出媒体帧的时间戳属于异常时间戳，根据媒体帧对应的时间戳异常类型，以媒体帧为操作基准执行媒体帧删除或者插入操作，以修正媒体队列中各媒体帧的时间戳组成的时间戳队列；分别对修正后的各媒体队列进行编码。本申请可以在对多媒体进行转码处理的过程中，对多媒体中的媒体帧进行时间戳异常处理。

技术领域

本申请涉及多媒体处理技术领域，尤其涉及一种多媒体处理方法、装置、设备和存储介质。

背景技术

多媒体网站获得音频以及视频的来源非常多，这些不同来源的音频以及视频需要经过转码才可以最终发布。音视频转码是指将已经压缩编码的音频或者视频码流转换为符合该多媒体网站指定格式或者参数的音频或者视频流。

在多媒体网站获得的音频以及视频中，经常会存在时间戳有误的音频或者视频。如果音频或者视频中的时间戳有误，会影响到音频以及视频的正常播放等。然而，目前在音视频转码过程中都未涉及到对于音频以及视频中时间戳异常的修复处理，因此，如何在音视频转码过程中处理音频以及视频中的时间戳异常是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本申请提供了一种多媒体处理方法、装置、设备和存储介质，以在对多媒体进行转码处理的过程中，对多媒体中的媒体帧进行时间戳异常处理，减少由于媒体帧的时间戳异常而导致的业务处理异常或者播放异常等。

为实现上述目的，本申请提供了如下技术方案：

一方面，本申请提供了一种多媒体处理方法，包括：

获得待解码的多媒体文件，所述多媒体文件包括被编码的至少一种类型的媒体帧，所述至少一种类型的媒体帧包括视频帧和音频帧中的一种或者两种；

分别解码所述多媒体文件中各类型的媒体帧，得到所述多媒体文件解码出的至少一种类型的媒体队列，所述媒体队列包括所述多媒体文件中解码出的具有先后顺序且属于同一类型的多个媒体帧；

针对每个媒体队列，以所述至少一种类型的媒体队列中目标媒体帧的时间戳为起始时间戳，并基于所述媒体队列中媒体帧的帧率，推算出所述媒体队列中各媒体帧的预估时间戳，所述目标媒体帧为所述至少一种类型的媒体队列中时间戳最靠前的媒体帧或者是所述至少一种类型的媒体帧中属于指定类型的媒体队列中的第一个媒体帧；

针对每个媒体队列，如果基于所述媒体队列中媒体帧的时间戳与其预估时间戳确定出所述媒体帧的时间戳属于异常时间戳，根据所述媒体帧对应的时间戳异常类型，以所述媒体帧为操作基准执行媒体帧删除或者插入操作，以修正所述媒体队列中各媒体帧的时间戳组成的时间戳队列；

分别对修正后的各媒体队列进行编码。

在一种可能的实现方式中，所述如基于所述媒体队列中媒体帧的时间戳与其预估时间戳确定出所述媒体帧的时间戳属于异常时间戳，包括：

如所述媒体队列中媒体帧的时间戳与其预估时间戳之间差值的绝对值大于设定阈值，确定所述媒体帧的时间戳属于异常时间戳。

在又一种可能的实现方式中，所述根据所述媒体帧对应的时间戳异常类型，以所述媒体帧为操作基准执行媒体帧删除或者插入操作，包括：

如所述媒体帧的时间戳小于其预估时间戳，按照所述媒体队列中各媒体帧的先后顺序，以所述媒体帧为删除起点，删除所述媒体帧在内的至少一帧媒体帧；

如所述媒体帧的时间戳大于其预估时间戳，向所述媒体队列中所述媒体帧之后插入至少一帧修正媒体帧，并基于所述媒体帧的时间戳及其预估时间戳，设置所述修正媒体帧的时间戳。