[发明专利]多媒体文件生成方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种多媒体文件生成方法、装置、电子设备及存储介质。多媒体文件生成方法包括：基于内置的浏览器视频组件，从浏览器的页面数据中提取出至少两个视频流数据；根据预设的渲染参数，对至少两个视频流数据进行离屏渲染，获得渲染后的视频帧图像，视频帧图像中至少包括两个视频流数据对应的画面；基于内置的浏览器音频组件，从浏览器的页面数据中提取出音频数据；将视频帧图像以及音频数据合并，生成多媒体文件。本申请提供的方案，无需显示视频流数据对应的图像、无需播放音频数据对应的声音，即可将多个视频流对应的视频窗口合并至一个视频帧图像中，并增加音频数据，从而生成可供用户直接转发的多媒体文件。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种多媒体文件生成方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的发展，各种互联网产品越来越多地出现在了人们的生活，例如直播等。由于直播能够给人们带来了实时且面对面的沟通体验，因此，越来越多的视频直播平台不断涌现，并在培训、社交等方面得到广泛的应用。

在进行直播后，部分用户会有转发来分享直播的需求。但是现有的直播中，一般会具有多个视频窗口，例如可以包括拍摄讲师的摄像头对应的视频窗口、展示课件对应的视频状况、聊天窗口等。在需要转发某个直播时，用户需要先通过录屏软件等，将直播过程的多个视频窗口重新录制，才能转发包括多个视频窗口的直播，转发过程较为繁琐，不便于用户操作。

发明内容

有鉴于此，本申请实施例提供多媒体文件生成方法、装置、电子设备及存储介质，用以克服现有技术的问题。

第一方面，本申请实施例提供了一种多媒体文件生成方法，包括：基于内置的浏览器视频组件，从浏览器的页面数据中提取出至少两个视频流数据；根据预设的渲染参数，对至少两个视频流数据进行离屏渲染，获得渲染后的视频帧图像，所述视频帧图像中至少包括两个所述视频流数据对应的画面；基于内置的浏览器音频组件，从浏览器的页面数据中提取出音频数据；将所述视频帧图像以及所述音频数据合并，生成多媒体文件。

可选地，在一种具体的实施方式中，所述浏览器视频组件和/或所述浏览器音频组件通过谷歌浏览器嵌入式框架CEF实现。

可选地，在一种具体的实施方式中，所述基于内置的浏览器音频组件，从浏览器的页面数据中提取出音频数据，包括：通过继承CefAudioHandler类的OnAudioStreamPacket方法获取音频数据。

可选地，在一种具体的实施方式中，所述根据预设的渲染参数，对至少两个视频流数据进行离屏渲染，获得渲染后的视频帧图像，包括：根据预设的渲染参数，确定至少两个视频流数据分别对应的渲染范围，以及渲染至视频帧图像的渲染位置；根据至少两个视频流数据各自对应的渲染范围以及渲染位置，进行离屏渲染，获得渲染后的视频帧图像。

可选地，在一种具体的实施方式中，所述根据预设的渲染参数，对至少两个视频流数据进行离屏渲染，获得渲染后的视频帧图像，包括：调用安装有浏览器的终端设备的GUP，对至少两个视频流数据进行离屏渲染，获得渲染后的视频帧图像。

可选地，在一种具体的实施方式中，所述根据预设的渲染参数，对至少两个视频流数据进行离屏渲染，获得渲染后的视频帧图像，包括：根据预设的渲染参数，对至少两个视频流数据进行离屏渲染，获得RGB数据；将所述RGB数据转换为YUV数据，获得渲染后的视频帧图像。

可选地，在一种具体的实施方式中，所述将所述视频帧图像以及所述音频数据合并，生成多媒体文件，包括：将所述视频帧图像编码为具有预设码率的数据包；将所述音频数据转换为高级音频编码格式的音频文件；将所述数据包与所述高级音频编码格式的音频文件封装为流媒体数据。

可选地，在一种具体的实施方式中，根据权利要求7所述的方法，其特征在于，所述方法还包括：基于RTMP协议发送生成的流媒体数据。