[发明专利]音视频数据的处理方法、装置、设备及存储介质

说明书

本申请实施例公开了一种音视频数据的处理方法、装置、设备及存储介质，用以解决目前对于音视频设备缓存的音频数据及视频数据，难以实现音视频同步的问题。方法包括：获取缓存的至少一帧音频源数据和至少一帧视频源数据；各帧音频源数据携带有该帧音频源数据对应的音频采集时间；各帧视频源数据携带有该帧视频源数据对应的视频采集时间；分别对各帧音频源数据和各帧视频源数据进行编码，得到各帧音频源数据对应的音频编码数据以及各帧视频源数据对应的视频编码数据；根据音频采集时间和视频采集时间，对各音频编码数据和各视频编码数据进行排序，得到目标音视频数据。该技术方案能够对无序的音视频数据进行重新排列，从而实现音视频同步的效果。

技术领域

本申请涉及音视频处理技术领域，尤其涉及一种音视频数据的处理方法、装置、设备及存储介质。

背景技术

传统的长电类智能设备，由于通过外部电源供电，设备能长期处于工作状态。但在一些特定的场景下，长电类智能设备并不适用，针对这些场景，衍生出了电池类智能设备。如智能猫眼、智能门铃、智能门锁等带有音视频功能的安防设备。电池类智能设备依赖于内部电池供电，由于其电池容量的限制，无法像长电类智能设备那样始终处于工作状态，其大部分时间都处于休眠状态。而在休眠状态下，上述带有音视频功能的安防设备中的音视频采集处理模块不工作，仅在通过特定方式触发后，才会被唤醒。例如，在电池类智能设备为带有音视频功能的安防设备时，可通过PIR(Passive Infrared detectors，热释电红外传感器)、按键等特定方式触发，以唤醒该设备进行音视频采集及处理。

其中，在带有音视频功能的设备(以下简称为“音视频设备”)处于休眠状态的情况下，CPU(Central Processing Unit，中央处理器)、音频采集、视频采集等模块都是断电的。当音视频设备被唤醒后会立即给上述模块上电。而音视频设备从上电到正常工作通常需要经过这些过程：上电加载、系统引导、内核启动、驱动加载、正常工作。从上电加载到正常工作之间的这段过程中(一般称作“快速启动阶段”)，由于码流的处理业务还未正常工作，音视频设备无法对码流数据进行处理，因此只能将音频数据及视频数据进行缓存，待音视频设备正常工作后再进行处理。这就导致音视频设备在快速启动阶段缓存下大量的音频数据及视频数据，而音频采集模块与视频采集模块一般不是同时启动的，因此快速启动阶段所缓存下的音频数据及视频数据难以实现音视频同步。

为解决音视频设备缓存的音频数据及视频数据难以实现音视频同步的问题，目前的做法主要有以下两种：一种是在快速启动阶段仅保存视频数据，而不保存音频数据。这种做法虽然无需考虑快速启动阶段的音视频同步问题，但也因此丢失了快速启动阶段的音频数据，导致用户的使用体验较差。另一种是将快速启动阶段的音频数据及视频数据，按照音视频的帧间隔进行排序。这种音视频同步方式是通过理论上的音视频帧率进行排序，而未考虑音频采集模块与视频采集模块的启动时间差，因此这种方式只在音频采集模块与视频采集模块的启动时间相差极小的情况下才有效。

发明内容

本申请实施例的目的是提供一种音视频数据的处理方法、装置、设备及存储介质，用以解决目前对于音视频设备缓存的音频数据及视频数据，难以实现音视频同步的问题。

为解决上述技术问题，本申请实施例是这样实现的：

一方面，本申请实施例提供一种音视频数据的处理方法，应用于音视频设备，包括：

获取缓存的至少一帧音频源数据和至少一帧视频源数据；各帧所述音频源数据携带有该帧音频源数据对应的音频采集时间；各帧所述视频源数据携带有该帧视频源数据对应的视频采集时间；

分别对各帧所述音频源数据和各帧所述视频源数据进行编码，得到各帧所述音频源数据对应的音频编码数据以及各帧所述视频源数据对应的视频编码数据；

根据所述音频采集时间和所述视频采集时间，对各所述音频编码数据和各所述视频编码数据进行排序，得到目标音视频数据。