[发明专利]一种对虚拟场景直播进行美颜处理的方法及系统

说明书

技术领域

本发明涉及多媒体数据处理领域，特别是涉及一种对虚拟场景直播数据进行处理的技术。

背景技术

由于设备成本的下降和直播技术的日臻成熟，通过网络进行表演直播的娱乐形式逐渐为大众所接受和欢迎。虚拟场景合成技术是一种应用于电视台演播厅录播节目或电影制作中的多媒体数据处理技术，例如天气预报节目等。

现有技术中，虚拟场景合成技术通常通过将摄像装置采集到的纯色背景中的人像提取出来，然后与渲染出来的虚拟场景背景进行叠加合成，再将合成后的图像数据输出用于播放或录制存储。

现有的虚拟场景技术无法实现主播对象与观众对象之间高品质的互动交流。具体的，例如在网络直播领域中，现有的直播平台和技术，使得观众只能看到主播摄像头拍摄的画面，观众可以向主播赠送虚拟礼物，但是这些虚拟礼物只能在现有的场景下进行粗糙地叠加。又例如，现有MTV制作通常由导演和表演者交流后录制完成，录制过程缺乏趣味性，录制效果单一。并且在现有直播技术中，为了使客户端能够看到其他客户端与主播之间的互动效果，需要客户端将互动信息和素材发送到云端服务器，云端服务器通知所有在线客户端从指定位置下载素材，并由客户端叠加到直播画面上。可见，客户端需要下载指定素材，效率低下，且浪费流量；并且需要每个客户端在本地存储所述互动素材，占用客户端存储空间，而且互动内容不便于及时进行扩展。

而且，由于摄像装置所拍摄的主播对象的像素点高，成像真实，导致主播对象脸部的瑕疵都直接呈现在镜头上，故此，在直播之前往往需要对主播对象进行美颜。而现有的美颜处理，是对图像中的每个像素点进行处理运算，处理运算的数据量大，具有较高的延迟，并占用大量CPU资源，无法应用于实时性要求较高的直播。另外，在一些现有的直播数据处理方案中，是直接对视频流进行美颜处理，无形中增加了直播的延迟。

因此发明人认为需要研发一种能够降低网络虚拟场景直播美颜处理所造成直播延迟的技术。

发明内容

为此，需要提供一种能够对虚拟场景直播数据进行快速美颜处理的技术，用于降低网络虚拟场景直播美颜处理的延迟时间。

为实现上述目的，发明人提供了一种对虚拟场景直播进行美颜处理的方法，包括以下步骤：

实时获取摄像装置的数据，得到第一图像数据；

将第一图像数据转换成纹理图像，并将所述纹理图像更新至虚拟场景中；

通过GPU从纹理图像中识别出第一对象，将纹理图像除第一对象外的剩余部分透明化，然后对第一对象进行美颜处理，再对美颜后的第一对象及所述虚拟场景进行渲染，得到渲染图像。

进一步的，得到渲染图像之后还包括步骤：

对所述渲染图像进行合成图像编码操作，得到第一视频数据；

获取摄像装置数据的同时，实时获取音效器的音频数据，将音效器的音频数据与第一视频数据封装成音视频数据。

进一步的，得到所述音视频数据之后还包括步骤：通过实时流传输协议，将所述音视频数据直播给局域网中的在线客户端；

或通过实时流传输协议，将所述音视频数据发送给第三方网络服务器；

第三方网络服务器生成所述音视频数据的互联网直播链接。

进一步的，还包括接收客户端发送的互动指令，从及根据互动指令更新或切换虚拟场景。

进一步的，所述对所述渲染图像进行合成图像编码操作包括步骤：

使用硬件编码模块截取所述渲染图像，以及对所截取的渲染图像进行压缩编码。

进一步的，所述对第一对象进行美颜处理包括步骤：利用shader对第一对象进行磨皮处理，去斑处理和加亮处理。

进一步的，所述虚拟场景为3D虚拟现实场景或3D视频场景。

为实现上述目的，发明人还提供了另一技术方案：一种对虚拟场景直播进行美颜处理的系统，包括：

解析单元，用于实时获取摄像装置的数据，得到第一图像数据；

更新单元，用于将第一图像数据转换成纹理图像，并将所述纹理图像更新至虚拟场景中；以及

渲染单元，通过GPU从纹理图像中识别出第一对象，将纹理图像除第一对象外的剩余部分透明化，然后对第一对象进行美颜处理，再对美颜后的第一对象及所述虚拟场景进行渲染，得到渲染图像。

进一步的，对虚拟场景直播进行美颜处理的系统还包括：

合成图像编码单元，用于对所述渲染图像进行合成图像编码操作，得到第一视频数据；以及