[发明专利]一种云视频会议中优化音视频效果的方法

权利要求书

1.一种云视频会议中优化音视频效果的方法，其特征在于,包括如下步骤：

步骤一，对存储在云端的视频数据进行解码并从中截取待处理的视频帧，所述视频数据为采集本地端对参会人员进行拍摄上传至云端获得；

步骤二，在采集本地端网络波动状况下，通过获取参会人员各自所属的行为轨迹预测以及根据所述行为轨迹预测提前准备的静态图像和虚拟场景，以静态图像和虚拟场景的结合替换所述视频帧，进行视频会议中网络波动的视频自动补帧，其中，所述静态图像包括参会人员行为轨迹过程的图像；

步骤三，在采集本地端网络波动状况下，将由采集本地端采集的音频数据翻译成字幕以及生成智能音频上传至云端，通过字幕和智能音频替换所述音频数据，进行视频会议中网络波动的音频效果的修复；

获取参会人员各自所属的行为轨迹预测包括如下步骤：

将所述待处理的视频帧输入人脸朝向识别模型，所述人脸朝向识别模型用于对所述待处理的视频帧进行人脸特征提取，得到参会人员中关键人员的面部朝向信息，

将面部朝向信息输入行为轨迹预判模型，所述行为轨迹预判模型基于云计算和所述面部朝向信息做出行为轨迹的预判，获取关键人员的行为轨迹预判结果，所述行为轨迹预判模型是以携带动作编号的动态轨迹图像为训练样本对第一基础模型进行训练得到的。

2.如权利要求1所述的云视频会议中优化音视频效果的方法，其特征在于,

音频数据翻译成字幕以及生成智能音频包括如下步骤：

将所述音频数据输入数字音频模型，所述数字音频模型用于对所述音频数据进行声纹和音量大小提取，得到音频数据中的声纹编号和音量大小数据编号；

所述数字音频模型是以携带声纹编号和音量大小数据编号的音频样本为训练样本，对第三基础模型进行训练得到的；

所述字幕是通过声纹编号获得，所述智能音频是通过机械发声模块根据所述字幕、所述声纹和音量大小生成。

3.如权利要求2所述的云视频会议中优化音视频效果的方法，其特征在于,

所述步骤二包括：

在采集本地端网络波动状况下，将行为轨迹预判结果输入场景模拟模型，所述场景模拟模型用于根据所述行为轨迹预判结果，提前准备静态画面和提前处理环境模拟；

通过所述场景模拟模型对视频帧进行静态画面替换以及虚拟场景的导入，进行视频会议中网络波动的视频自动补帧；所述场景模拟模型是以携带场景编号的多个场景图像样本为训练样本，对第二基础模型进行训练得到的。

4.如权利要求3所述的云视频会议中优化音视频效果的方法，其特征在于,

所述步骤二进一步包括：

在采集本地端网络状况较佳情况下，采集本地端上传高于当前清晰度的视频数据至云端。

5.如权利要求2所述的云视频会议中优化音视频效果的方法，其特征在于,

所述步骤三包括：

在采集本地端网络波动状况下，数字音频模型识别由拾音麦克风采集到的音频数据，生成字幕，以及获取音频数据中的声纹编号和音量大小数据编号，生成智能音频；

采集本地端将字幕以及智能音频上传至云端，通过字幕和智能音频替换所述音频数据，进行视频会议中网络波动的音频效果的修复。

6.如权利要求5所述的云视频会议中优化音视频效果的方法，其特征在于,

所述步骤三进一步包括：

在采集本地端网络状况较佳情况下，采集本地端上传高于当前清晰度的音频数据至云端。

7.如权利要求3所述的云视频会议中优化音视频效果的方法，其特征在于,

所述场景模拟模型通过以下步骤得到：

通过摄像头捕捉面对会议终端的多个关键点，在网络状况良好时将由关键点组成的场景和图像上传至云端；

所述关键点包括会议桌左侧位第一关键点、会议桌正对位第二关键点、会议桌右侧位第三关键点、会议桌左后方第四关键点、会议桌右后方第五关键点以及会议桌正对位背景第六关键点；

通过云计算对多个所述关键点进行场景编号，获取场景图像样本；以携带场景编号的多个场景图像样本为训练样本，对所述第二基础模型进行训练，得到场景模拟模型。