[发明专利]一种基于数字孪生的新形态教材学习系统

权利要求书

1.一种基于数字孪生的新形态教材学习方法，其特征在于，所述方法包括：

获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域；

从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据；

识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3D人脸模型进行迭代优化，得到标准人脸模型，并将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频；

将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材；

当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像；

计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材；

将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材；

当接收到教学预备请求时，调用所述新形态教材进行课堂教学。

2.如权利要求1所述的基于数字孪生的新形态教材学习方法，其特征在于，所述计算出所述二维平面图像的深度图，包括：

将所述二维平面图像分割为预设个数的平面矩形块；

分别对预设个数的平面矩形块进行滤波处理，得到多个滤波矩形块；

利用预设的深度计算公式计算多个所述滤波矩形块的绝对深度，得到深度特征；

根据所述深度特征生成所述二维平面图像的深度图。

3.如权利要求1所述的基于数字孪生的新形态教材学习方法，其特征在于，所述基于马尔科夫随机场模型和所述深度图生成立体图像，包括：

对所述深度图进行超分辨率处理及去噪处理，得到去噪深度图；

将所述二维平面图像定义为右视点图像，利用马尔科夫随机场模型建立所述右视点图像和所述去噪深度图之间的视差映射，并根据所述视差映射生成立体图像。

4.如权利要求1所述的基于数字孪生的新形态教材学习方法，其特征在于，所述对所述教材内容数据中进行命名实体识别，包括：

将所述教材内容数据划分为多个教材分词，并分别对多个所述教材分词进行向量化，得到多个分词向量；

将多个所述分词向量输入至长短期记忆网络中进行特征提取，得到特征序列表征；

将所述特征序列表征输入至CRF层中进行解码，得到每个教材分词对应的序列；

根据所述教材分词对应的序列确定对应的实体名称。

5.如权利要求1所述的基于数字孪生的新形态教材学习方法，其特征在于，所述利用预获取的对话音频数据对预设的3D人脸模型进行迭代优化，得到标准人脸模型，包括：

将所述对话音频数据拆分为音素，并对所述音素进行向量化处理，得到音素序列向量；

利用预设的3D人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理，得到嘴型特征序列；

对所述嘴型特征序列进行第二序列变换处理，得到人脸面部表情参数；

根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化，得到标准人脸模型。

6.如权利要求5所述的基于数字孪生的新形态教材学习方法，其特征在于，所述将所述对话音频数据拆分为音素，包括：

对所述对话音频数据进行文本转换，得到初始对话文本；

去除所述初始对话文本中的标点符号，得到标准对话文本；

利用预设的音标规则标记所述标准对话文本中每个字符所对应的音素。