[发明专利]音视频的合成方法、装置、设备及存储介质

说明书

本发明提供了一种音视频的合成方法、装置、设备及存储介质，其中音视频的合成方法包括：接收待合成的视频帧数据和音频帧数据；分别通过预设的第一线程和第二线程对所述视频帧数据和所述音频帧数据进行同时渲染；监听所述视频帧数据和所述音频帧数据的渲染进度；当所述视频帧数据和所述音频帧数据均渲染完成时，将渲染后得到的视频数据和音频数据进行合成。本发明的音视频的合成方法，利用了两个不同的线程分别对视频帧数据和音频帧数据进行渲染，这样视频帧数据和音频帧数据的渲染就可以同步进行，从而提高了视频帧数据和音频帧数据合成的效率。

技术领域

本发明涉及音视频处理技术领域，尤其涉及一种音视频的合成方法、装置、设备及存储介质。

背景技术

在短视频火爆的当下，移动端视频剪辑工具也如泉水般涌出，在视频剪辑APP中添加各种音频和视频特效后，再渲染输出合成一个视频。在渲染合成阶段，大部分情况下音频和视频都是分开处理的，在多段视频和音频的情况下常规做法是先渲染视频，再处理音频，最后把视频音频合成一个完整的视频，所以怎么提高渲染合成速度也是一个重要的优化路径。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种音视频的合成方法、装置、设备及存储介质，旨在解决现有技术音视频的合成方法效率低，极大的影响了短视频剪辑效率的技术问题。

本发明第一方面公开了一种音视频的合成方法，包括以下步骤：

接收待合成的视频帧数据和音频帧数据；

分别通过预设的第一线程和第二线程对所述视频帧数据和所述音频帧数据进行同时渲染；

监听所述视频帧数据和所述音频帧数据的渲染进度；

当所述视频帧数据和所述音频帧数据均渲染完成时，将渲染后得到的视频数据和音频数据进行合成。

在本发明第一方面一种可选的实施方式中，所述分别通过预设的第一线程和第二线程对所述视频帧数据和所述音频帧数据进行同时渲染包括：

预先创建视频存储文件以及音频存储文件；

在所述第一线程中对所述视频帧数据进行画面和特效渲染，并将渲染后得到的视频数据保存到所述视频存储文件；

在所述第一线程开始渲染所述视频帧数据的同时在所述第二线程中执行所述音频帧数据的渲染，并将渲染后得到的音频数据保存到所述音频存储文件中。

在本发明第一方面一种可选的实施方式中，所述在所述第一线程中对所述视频帧数据进行画面和特效渲染，并将渲染后得到的视频数据保存到所述视频存储文件包括：

在所述第一线程中通过OpenGL ES接口对所述视频帧数据进行画面和特效的离屏渲染，并将渲染后得到的视频数据保存到所述视频存储文件。

在本发明第一方面一种可选的实施方式中，所述在所述第一线程中通过OpenGLES接口对所述视频帧数据进行画面和特效的离屏渲染，并将渲染后得到的视频数据保存到所述视频存储文件包括：

利用CoreVideo框架中的CVOpenGLESTextureCacheCreate方法创建纹理缓冲区，并将所述纹理缓冲区保存在CVOpenGLESTextureCacheRef对象中；

再通过CVOpenGLESTextureCacheCreateTextureFromImage方法创建基于纹理的图像缓冲区并保存在CVOpenGLESTextureRef对象中；

接着通过所述CVOpenGLESTextureRef对象获得纹理ID，并使所述OpenGL ES接口渲染输出至所述纹理ID，同时把渲染后得到的视频数据保存到CVPixelBufferRef对象；