[发明专利]音视频的合成方法、装置、设备及存储介质

权利要求书

1.一种音视频的合成方法，其特征在于，包括以下步骤：

接收待合成的视频帧数据和音频帧数据；

分别通过预设的第一线程和第二线程对所述视频帧数据和所述音频帧数据进行同时渲染；

监听所述视频帧数据和所述音频帧数据的渲染进度；

当所述视频帧数据和所述音频帧数据均渲染完成时，将渲染后得到的视频数据和音频数据进行合成。

2.根据权利要求1所述的音视频的合成方法，其特征在于，所述分别通过预设的第一线程和第二线程对所述视频帧数据和所述音频帧数据进行同时渲染包括：

预先创建视频存储文件以及音频存储文件；

在所述第一线程中对所述视频帧数据进行画面和特效渲染，并将渲染后得到的视频数据保存到所述视频存储文件；

在所述第一线程开始渲染所述视频帧数据的同时在所述第二线程中执行所述音频帧数据的渲染，并将渲染后得到的音频数据保存到所述音频存储文件中。

3.根据权利要求2所述的音视频的合成方法，其特征在于，所述在所述第一线程中对所述视频帧数据进行画面和特效渲染，并将渲染后得到的视频数据保存到所述视频存储文件包括：

在所述第一线程中通过OpenGL ES接口对所述视频帧数据进行画面和特效的离屏渲染，并将渲染后得到的视频数据保存到所述视频存储文件。

4.根据权利要求3所述的音视频的合成方法，其特征在于，所述在所述第一线程中通过OpenGL ES接口对所述视频帧数据进行画面和特效的离屏渲染，并将渲染后得到的视频数据保存到所述视频存储文件包括：

利用CoreVideo框架中的CVOpenGLESTextureCacheCreate方法创建纹理缓冲区，并将所述纹理缓冲区保存在CVOpenGLESTextureCacheRef对象中；

再通过CVOpenGLESTextureCacheCreateTextureFromImage方法创建基于纹理的图像缓冲区并保存在CVOpenGLESTextureRef对象中；

接着通过所述CVOpenGLESTextureRef对象获得纹理ID，并使所述OpenGL ES接口渲染输出至所述纹理ID，同时把渲染后得到的视频数据保存到CVPixelBufferRef对象；

最后把所述CVPixelBufferRef对象中的视频数据通过AVFoundation框架的AVAssetWriterInput对象、AVAssetWriterInputPixelBufferAdaptor对象和AVAssetWriter对象写入到所述视频存储文件中。

5.根据权利要求3所述的音视频的合成方法，其特征在于，所述在所述第一线程开始渲染所述视频帧数据的同时在所述第二线程中执行所述音频帧数据的渲染，并将渲染后得到的音频数据保存到所述音频存储文件中包括：

通过AVFoundation框架创建AVMutableComposition对象；

接着把所述音频帧数据转换成AVURLAsset对象，并从所述AVURLAsset对象读取出AVAssetTrack对象；

再通过所述AVMutableComposition对象添加AVMutableCompositionTrack对象，以及利用所述AVMutableCompositionTrack对象添加所述AVAssetTrack对象和混音效果；

最后通过所述AVMutableComposition对象创建AVAssetExportSession对象，并利用所述AVAssetExportSession对象导出所述AVMutableComposition对象中的音频数据到所述音频存储文件中。