[发明专利]基于虚拟数字人的智能化慕课生成方法、装置及存储介质

权利要求书

1.一种基于虚拟数字人的智能化慕课生成方法，其特征在于，所述基于虚拟数字人的智能化慕课生成方法包括如下步骤：

S10、利用预先训练好的数字人声音模型对教学教案的文本内容进行处理，合成对应的教学音频；

S20、利用在预先训练好的数字人三维形象模型的基础上构建的对抗性深度编码-解码神经网络对所述教学音频进行处理，将教学音频映射到数字人三维形象模型上，使虚拟数字人产生相应的动作，合成与所述教学音频同步的虚拟数字人形象视频，并将教学音频和虚拟数字人形象视频合并成慕课教学视频输出；

S30、对所述慕课教学视频进行编辑处理，编辑的内容包括教学场景、特效、插图、字幕、音效中的一项或者多项；

S40、对慕课教学视频进行渲染，美化教学视频中的人物形象和教学场景；

S50、对慕课教学视频进行合规审核；

S60、为慕课教学视频中的虚拟数字人形象视频和教学音频添加溯源水印，并对慕课教学视频加密后输出。

2.如权利要求1所述的基于虚拟数字人的智能化慕课生成方法，其特征在于，所述数字人声音模型的训练方法包括如下步骤：

采集目标人物声音数据；

构建端到端的非自回归神经网络语音合成模型，将多说话人的录音数据作为训练输入样本，训练得到通用种子声音模型；

将目标人物声音数据作为通用种子声音模型的训练输入样本，训练得到数字人声音模型。

3.如权利要求1或2所述的基于虚拟数字人的智能化慕课生成方法，其特征在于，所述数字人三维形象模型的训练方法包括如下步骤：

采集目标人物形象数据；

设计一个通用的虚拟数字人模型，将目标人物形象数据作为训练输入样本，训练得到数字人三维形象模型。

4.如权利要求1所述的基于虚拟数字人的智能化慕课生成方法，其特征在于，所述步骤S40进一步包括：

对虚拟数字人的肤色、衣服颜色和脸型进行调整；

加入滤镜对虚拟数字人及教学场景进行过滤。

5.如权利要求1所述的基于虚拟数字人的智能化慕课生成方法，其特征在于，所述步骤S50进一步包括：

审核合成慕课教学视频中的图片、音频以及视频是否涉及违规内容；

审核文本内容是否包含敏感词信息、广告词、辱骂词汇、敏感人物信息或者低质灌水内容。

6.如权利要求1所述的基于虚拟数字人的智能化慕课生成方法，其特征在于，所述步骤S60进一步包括：

通过离散小波变换，将虚拟数字人形象视频转换到频域，根据每个用户的id，利用水印生成算法，生成用户独特的水印码，在频域嵌入生成的水印码，生成带水印的虚拟数字人形象视频，最后通过逆离散小波变换，对带水印的虚拟数字人形象视频进行变换，转为时域；

通过水印生成模型，随机生成水印信息，教学音频通过离散小波变换，转换到频域，对低频部分进行变换，将水印序列嵌入到低频部分，再通过逆离散小波变换，生成含水印的教学音频；

对添加了水印的虚拟数字人形象视频和教学音频进行加密处理后，输出慕课教学视频。

7.一种基于虚拟数字人的智能化慕课生成装置，其特征在于，所述基于虚拟数字人的智能化慕课生成装置包括有：

音频合成模块，用于利用预先训练好的数字人声音模型对教学教案的文本内容进行处理，合成对应的教学音频；

视频合成模块，用于利用在预先训练好的数字人三维形象模型的基础上构建的对抗性深度编码-解码神经网络对所述教学音频进行处理，将教学音频映射到数字人三维形象模型上，使虚拟数字人产生相应的动作，合成与所述教学音频同步的虚拟数字人形象视频，并将教学音频和虚拟数字人形象视频合并成慕课教学视频输出；

编辑模块，用于对所述慕课教学视频进行编辑处理，编辑的内容包括教学场景、特效、插图、字幕、音效中的一项或者多项；

渲染模块，用于对慕课教学视频进行渲染，美化教学视频中的人物形象和教学场景；

审核模块，用于对慕课教学视频进行合规审核；

溯源模块，用于为慕课教学视频中的虚拟数字人形象视频和教学音频添加溯源水印，并对慕课教学视频加密后输出。