[发明专利]视频流处理方法、视频流显示方法、装置及设备

说明书

本申请公开了一种视频流处理方法、视频流显示方法、装置及设备，属于音视频处理技术领域。所述方法包括：获取主播帐号的第一视频流中的第一视频帧；识别第一视频帧中的不整齐牙齿，不整齐牙齿包括多颗牙齿中的至少一颗牙齿；响应于第一视频帧中包括不整齐牙齿，校正第一视频帧中的不整齐牙齿得到第二视频帧，第二视频帧中包括对不整齐牙齿进行矫正得到的目标整齐牙齿。在根据该第二视频帧显示视频画面时，能够显示出对主播的形象进行进一步美化的画面，提升了显示的人脸的美颜效果。

技术领域

本申请涉及音视频处理技术领域，特别涉及一种视频流处理方法、视频流显示方法、装置及设备。

背景技术

在直播平台中，主播客户端将采集到的主播用户的直播流经由直播服务器发送给多个观众客户端。观众客户端根据该直播流，显示主播用户的直播画面。

当主播用户开启美颜功能后，主播客户端在采集到主播用户的直播流时，会对该直播流进行美颜处理。例如会对直播流的视频帧中的主播人脸进行眼睛放大、皮肤美白以及瘦脸等。之后主播客户端将美颜处理后的直播流经由直播服务器发送给观众客户端，观众客户端根据美颜处理后的直播流显示包括美颜后的主播人脸的直播画面。

目前，主播客户端对主播用户的直播流的美颜处理，通常采用以上方式。显示的主播人脸的美颜效果有限。

发明内容

本申请提供了一种视频流处理方法、视频流显示方法、装置及设备，可以提升显示的人脸的美颜效果。所述技术方案如下：

根据本申请的一方面，提供了一种视频流处理方法，所述方法包括：

获取主播帐号的第一视频流中的第一视频帧；

识别所述第一视频帧中的不整齐牙齿，所述不整齐牙齿包括多颗牙齿中的至少一颗牙齿；

响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，所述第二视频帧中包括对所述不整齐牙齿进行矫正得到的目标整齐牙齿。

根据本申请的另一方面，提供了一种视频流显示方法，所述方法包括：

根据主播帐号的第一视频流中的第一视频帧，在用户界面中显示第一视频画面，所述第一视频画面中显示有不整齐牙齿；

响应于接收到牙齿美化操作，获取第二视频流，所述第二视频流中的第二视频帧是通过矫正所述第一视频帧中的所述不整齐牙齿得到的；

根据所述第二视频帧，在用户界面中显示第二视频画面，所述第二视频画面中显示的牙齿为整齐牙齿。

根据本申请的另一方面，提供了一种视频流处理装置，所述装置包括：

获取模块，用于获取主播帐号的第一视频流中的第一视频帧；

识别模块，用于识别所述第一视频帧中的不整齐牙齿，所述不整齐牙齿包括多颗牙齿中的至少一颗牙齿；

矫正模块，用于响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，所述第二视频帧中包括对所述不整齐牙齿进行矫正得到的目标整齐牙齿。

可选地，所述识别模块，用于：

调用机器学习模型，识别所述第一视频帧中的不整齐牙齿，所述机器学习模型是通过不整齐牙齿样本集训练得到的。

可选地，所述机器学习模型包括图像分割模型以及图像分类模型；所述识别模块，用于：

根据所述图像分割模型，分割出所述第一视频帧中单颗牙齿对应的牙齿图像区域，所述牙齿包括整齐牙齿以及所述不整齐牙齿；

根据所述图像分类模型，识别所述牙齿图像区域中的所述不整齐牙齿。