[发明专利]音视频处理方法、装置及电子设备

说明书

公开了一种用于直播的音视频处理方法、装置和电子设备。该用于直播的音视频处理方法包括：获取与直播操作有关的用户音频；获取与所述直播操作有关的操作音频和操作视频；对所述用户音频与所述操作音频进行混音以获得混合音频；以及，将所述混合音频与所述操作视频进行混合并进行所述操作视频的画面渲染以获得用于直播的多媒体数据。这样，可以避免主播的隐私泄露，提高主播使用的便利性，并改进直播的稳定性和画面质量。

技术领域

本申请涉及多媒体数据处理领域，且更为具体地，涉及一种音视频处理方法、装置和电子设备。

背景技术

近年来，随着5G等新基建的速度加快，制约基于云的各种服务发展的带宽和低延迟两个重大难题会被解决，基于云的各种服务也会在未来几年进入高速发展的阶段。

直播是典型的基于云的服务，如上所述，直播行业的发展正在进入成熟期，各种直播平台纷纷拓展云业务，以进一步提升平台内容服务的竞争力。其中，直播平台作为内容的生产消费平台，主要用于连接主播和观众。

在直播行业中，主播通过直播本人的各种操作和状态，例如玩游戏、唱歌跳舞，或者生产劳动，并且进行解说来提供内容。在直播过程中，通常都是利用主播的终端设备，比如电脑、手机等来录制主播的视频，并传送到直播平台上以由观众进行观看。

但是，在录制主播的终端设备进行直播的过程中，可能会存在一些问题。比如，如果主播不注意，可能录制到要直播的内容以外的一些屏幕画面，有可能侵犯用户隐私；另外，录屏本身需要一定的性能开销，这对于相对低端的终端设备，比如手机和电脑存在适配问题。

以目前常见的手机游戏直播为例，其主要是录屏直播，录制手机上的游戏屏幕和麦克风声音，同时进行音视频编码，然后上传到CDN(Content Delivery Network：内容分发网络)服务器。因此，用户在切换手机应用或画面的时候，可能录到游戏外的一些屏幕画面，有可能侵犯用户隐私；传统直播视频主要是H.264编码，对上行网络带宽和稳定性要求比较高，影响普通主播的直播体验；且录屏本身有一定性能开销，对于低端手机存在适配问题。

因此，期望提供一种改进的用于直播的音视频处理方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于直播的音视频处理方法、装置和电子设备，其将所获取的与直播操作有关的用户音频与关于直播操作的操作音频和操作视频进行音视频的混合，以获得用于直播的多媒体数据，从而避免了主播的隐私泄露，提高了主播使用的便利性，并改进了直播的稳定性和画面质量。

根据本申请的一方面，提供了一种用于直播的音视频处理方法，包括：获取与直播操作有关的用户音频；获取与所述直播操作有关的操作音频和操作视频；对所述用户音频与所述操作音频进行混音以获得混合音频；以及，将所述混合音频与所述操作视频进行混合并进行所述操作视频的画面渲染以获得用于直播的多媒体数据。

在上述用于直播的音视频处理方法中，获取与直播操作有关的用户音频包括：从终端设备获取与所述直播操作有关的已编码的用户音频，所述已编码的用户音频通过对使用麦克风采集到的所述用户的声音进行编码得到。

在上述用于直播的音视频处理方法中，进一步包括：从所述终端设备获取音频处理和/或视频处理的参数。

在上述用于直播的音视频处理方法中，所述音频处理的参数包括音频的采样率、声道、比特率中的至少一个；所述视频处理的参数包括视频的分辨率、帧率、码率、关键帧时间间隔中的至少一个。

在上述用于直播的音视频处理方法中，进一步包括：从所述终端设备采集与所述直播操作有关的用户视频。

在上述用于直播的音视频处理方法中，获取与所述直播操作有关的操作音频和操作视频包括：获取与所述直播操作有关的弹幕视频以作为所述操作视频的至少一部分。