[发明专利]一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法

权利要求书

1.一种基于多虚拟化身的沉浸式翻转课堂教学系统，其特征在于：包括沉浸式教学环境生成模块、多虚拟化身的沉浸式翻转教学模块、教学服务模块；

所述沉浸式教学环境生成模块，包括虚拟教学资源管理子模块、虚拟教学空间创建子模块和沉浸式教学资源发布与推送子模块；根据中学物理、化学、生科、小学科学主干学科的需要，构建具有知识树的虚拟教学资源与虚拟化身库，创建一系列虚拟场景与虚拟化身的编辑工具，支持交互式场景的生成和虚拟化身的定制，利用VR技术创建一系列虚拟教学空间构建工具；支持沉浸式教学资源的发布，通过热更新的形式将经过适配的资源包推送到师生终端；

所述虚拟教学资源管理子模块，根据中学物理、化学、生科、小学科学主干学科的需要，构建一套虚拟教学资源库以及虚拟化身模型库，支持师生动态定制虚拟化身模型；基于学科知识树为虚拟教学资源和虚拟化身模型添加知识标签；

所述虚拟教学空间创建子模块，通过虚拟场景编辑工具，构建虚拟教学空间中的交互式场景；师生使用虚拟化身定制工具，生成形态各异的虚拟化身；利用VR技术开发一系列虚拟空间构建工具，创设虚拟教学空间；

所述沉浸式教学资源发布与推送子模块，用于教师通过设置输出参数，将虚拟资源发布成沉浸式教学资源；根据师生显示终端的属性，提供不同分辨率的资源版本，实现教学资源的多终端内容适配；根据权限，将沉浸式教学资源数据包推送到师生终端；

所述多虚拟化身的沉浸式翻转教学模块，包括多虚拟化身的教学互动子模块、教学活动子模块和学习活动子模块；支持师生以虚拟化身的形式进入沉浸式教学空间，凭借采集设备捕捉师生交互数据，驱动虚拟化身同步执行相应动作，实现师生、生生之间协作学习和对话交流；支持教师设置、生成不同的虚拟教学情境，开展课前备课、课中讲解、答疑和交流，课后考核；支持学习者课前自主预习，课中提问、展示和讨论，课后复习；

所述教学互动子模块，支持师生以虚拟化身的形式进入沉浸式教学空间，认知、探究相关问题，并能看到彼此；通过采集设备捕捉师生数据，驱动虚拟化身同步执行相应动作；使用视觉、听觉、触觉感知交互模块，实现多感官交互与师生、生生之间协作学习和对话交流；所述教学活动子模块，用于课前环节，教师编辑和修改虚拟教学资源与化身模型，在虚拟教学环境中创设不同的导学情境；课中环节运用沉浸式教学空间构建工具，创设情境化的合作、探究教学情境，开展讨论、答疑和交流；课后环节，教师设置交互引导、结构认知、自主探究、知识拓展不同考核情境，训练学习者的熟练程度和反馈速度；所述学习活动子模块，用于课前环节，学习者登录沉浸式教学环境，通过可视化的方式预先知识点，重复练习较难掌握的操作步骤；课中环节，通过虚拟化身的视频直播、多模态交互，实现师生、生生之间的答疑、交流、讨论和展示；课后环节，学习者能在不同的考核情境中完成练习和复习任务；

所述教学服务模块，包括测试子模块、学情分析与反馈子模块和教学支持服务子模块；通过个人和小组测试，检测学习者对知识的掌握程度，引入AI测试助教，根据收集到的测试结果和过程数据，生成班级共性或学习者个性化的诊断结果，依据实时采集的数据，完成学习者的学习行为分析报告；基于混合协同智能推荐算法，将相关资源推送给学习者，采用云渲染平台实时生成虚拟教学资源的画面，实现对教学服务系统的统一管理；

所述测试子模块，通过设置难度适宜的练习情景，检验学习者对知识的掌握情况；使用小组测试功能，检测学习者对小组协作学习和不同情境的熟练程度；引入AI测试助教，为学习者提供实时在线操作的分步骤指导、知识讲解、错误提醒功能；

所述学情分析与反馈子模块，当学习者进入测试子模块，将会自动开启数据收集功能，记录测试过程的学习行为和学习成绩；教师分析学习者测试结果与过程数据，生成班级共性或学习者个性化的诊断结果；实时采集虚拟化身的交互数据，检验并生成学习者的学习行为分析报告；

所述教学支持服务子模块，采用基于用户和项目推荐算法的混合协同智能推荐算法，将相关的沉浸式教学资源推送给学习者；采用云渲染平台实时生成情境化虚拟教学资源的画面；实现对整个教学服务系统的统一管理。

2.一种如权利要求1所述的基于多虚拟化身的沉浸式翻转课堂教学系统的工作方法，其特征在于：

(1)沉浸式教学环境生成

(1-1)根据中学物理、化学、生科、小学科学主干学科的需要，构建一套虚拟教学资源库以及虚拟化身模型库，支持师生动态定制虚拟化身模型；基于学科知识树为虚拟教学资源和虚拟化身模型添加知识标签；

(1-1-1)虚拟教学资源库构建，调研、分析中学物理、化学、生物、小学科学主干学科的教学内容，根据虚拟教学资源建设的需要，收集、制作主干学科所需的3D模型、动作、音视频素材，构建一套虚拟教学资源库；

(1-1-2)虚拟化身模型库生成，通过结构光快速成像设备采集不同年龄、性别、身高、体重的师生全身模型，开发一个虚拟化身模型库，通过动态纹理贴图映射、网格变换技术，支持师生动态更换服饰、发型、外貌、体态显示属性，生成可定制的虚拟化身模型；

(1-1-3)标注知识，按照学段—学科—年级—学期—章节中对知识点分类，构建中学物理、化学、生物、小学科学知识树，为各个虚拟资源添加知识标签；按照外观、用途、类别属性，为虚拟化身添加知识标签，便于师生精准搜索、查看相关资源和化身所对应的知识点；

(1-2)通过虚拟场景编辑工具，构建虚拟教学空间中的交互式场景；师生使用虚拟化身定制工具，生成形态各异的虚拟化身；利用VR技术开发一系列虚拟空间构建工具，创设虚拟教学空间；

(1-2-1)虚拟场景的构建，通过虚拟场景编辑工具，支持场景模型、动作行为、音视频素材对象的新建、插入、修改、删除功能，使用和、差、并、交编辑操作，关联虚拟场景中模型、纹理材质与多媒体属性，生成个性化、情景式虚拟教学场景，可与师生的虚拟化身组合、变形和扩展形成新的虚拟教学场景；

(1-2-2)虚拟化身的定制，师生根据自身的喜好、偏爱，从虚拟化身模型库中选择可代表自身的虚拟化身，通过虚拟化身定制工具，将全身模型与服饰、发型、外貌、体态外观特征组合、形成不同的样式，生成形态各异的虚拟化身形象；

(1-2-3)沉浸式空间的创设，利用VR技术开发一系列虚拟空间构建工具，支持教师创设虚拟教学空间，不同位置的师生可以进入、共享同一空间；师生选择、定制自身虚拟化身的形象与外观，以虚拟化身开展协助学习、交流互动；支持项目式、体验式情境教学活动；

(1-3)教师通过设置输出参数，将虚拟资源发布成沉浸式教学资源；根据师生显示终端的属性，提供不同分辨率的资源版本，实现教学资源的多终端内容适配；根据权限，将沉浸式教学资源数据包推送到师生终端；

(1-3-1)沉浸式教学资源的发布，教师设置沉浸式教学资源的输出参数，包括主摄像机与左右摄像机参数、显示画面的宽高比和分辨率，以及适配VR终端设备，通过创设工具，将教学资源发布成沉浸式教学资源，并上传到云端保存；

(1-3-2)沉浸式教学资源的多终端适配，根据师生显示终端的操作系统、屏幕比例与尺寸大小属性，教学服务管理模块会提供不同分辨率的沉浸式资源版本，实现内容的多终端适配；依据教师账号的权限，为其提供浏览、可编辑不同功能；

(1-3-3)沉浸式教学资源的推送，使用班级管理功能，将本班任课教师下载、创设或编辑的沉浸式教学资源数据包推送到学习者的VR终端；运用视频直播、消息推送和热更新机制，将音视频互动、多模态交互信息同步更新至师生VR终端的教学空间；

(2)多虚拟化身的沉浸式翻转教学

(2-1)根据课程计划、教学任务的要求，支持师生以虚拟化身的形式进入沉浸式教学空间，认知、探究相关问题，并能看到彼此；通过采集设备捕捉师生数据，驱动虚拟化身同步执行相应动作；使用视觉、听觉、触觉感知交互模块，实现多感官交互与师生、生生之间协作学习和对话交流；

(2-1-1)沉浸式教学环境中的虚拟化身，根据课程计划、教学任务的要求，支持教师和学习者以虚拟化身的形式进入同一沉浸式教学空间，通过语音提示、交互引导，在虚拟空间中漫游、认知、探究相关问题，参与者不但能看到自己的虚拟化身，也能看到其他参与者的虚拟化身；

(2-1-2)数据驱动的虚拟化身实时动态表示，通过深度摄像头、眼动仪、麦克风采集设备捕捉教学活动中师生的动作、表情、声音数据，将其赋予教学环境中的虚拟化身，驱动它们执行点头、抬手、转身动作，实时动态表示师生的情感、行为；

(2-1-3)沉浸式教学环境中的多虚拟化身互动，师生通过VR终端进入虚拟教学环境，观察由云渲染平台所推送的画面，使用视觉、听觉、触觉交互模块，实现与虚拟画面的多感官交互，基于虚拟化身的师生、生生之间协作学习和对话交流；

(2-2)课前环节，教师编辑和修改虚拟教学资源与化身模型，在虚拟教学环境中创设不同的导学情境；课中环节运用沉浸式教学空间构建工具，创设情境化的合作、探究教学情境，开展讨论、答疑和交流；课后环节，教师设置交互引导、结构认知、自主探究、知识拓展不同考核情境，训练学习者的熟练程度和反馈速度；

(2-2-1)课前备课，登录虚拟教学资源库后，教师通过知识树或者知识标签快速搜索、查询、下载已有教学资源，依据预习、备课和考核的需要，编辑和修改虚拟教学场景、虚拟化身模型，创设不同的导学情境，生成个性化虚拟教学环境；

(2-2-2)课中讨论和情境演练，根据知识点内容、导学方案、学习任务要求，教师引导学习者通过VR终端进入虚拟教学环境，使用视觉、听觉、触觉感知交互模块，开展讨论、答疑和交流；运用沉浸式教学空间构建工具，创设情境化的合作、探究教学情境，令学习者掌握其所传达的知识内容；

(2-2-3)课后复习和考核，教师在下载的教学资源中设置交互引导、结构认知、自主探究、知识拓展不同考核情境：通过探索、拆装模型，加深学习者对模型组成结构的认知；支持容错重复操作，为次序颠倒或操作错误设置不同的反应结果；

(2-3)课前环节，学习者登录沉浸式教学环境，通过可视化的方式预先知识点，重复练习较难掌握的操作步骤；课中环节，通过虚拟化身的视频直播、多模态交互，实现师生、生生之间的答疑、交流、讨论和展示；课后环节，学习者能在不同的考核情境中完成练习和复习任务；

(2-3-1)课前预习活动，学习者登录教师创设的沉浸式教学环境，借助VR终端观看虚拟教学资源中复杂知识概念的展示，根据导学方案、操作界面、语音提示、交互引导，重复练习较难掌握的操作步骤，理解、掌握知识点的详细内容、操作方式、参数设置、材料预设、应答行为，高效地开展自主预习；

(2-3-2)课中协作学习，根据教学任务的要求，教师将学习者分成若干学习小组，在沉浸式教学环境中，通过虚拟化身的视频直播、多模态交互，实现小组协作学习过程中生生之间的展示、交流和讨论，并能实现师生之间的讲解、提问和答疑；

(2-3-3)课后复习，教师使用沉浸式教学空间创设工具，为学习者或者学习小组构建不同关卡、难度、数量的复习情境，通过虚拟化身，学习者或者协作学习的小组成员完成不同角色所需回答的问题、操作，将完成结果反馈给学习者；

(3)教学服务

(3-1)通过设置难度适宜的练习情景，检验学习者对知识的掌握情况；使用小组测试功能，检测学习者对小组协作学习和不同情境的熟练程度；引入AI测试助教，为学习者提供实时在线操作的分步骤指导、知识讲解、错误提醒功能；

(3-1-1)个人测试，通过设置难度适宜的练习情景，检验学习者在课前预先、课中练习和课后复习中对知识的掌握情况，如果对问题的理解、操作熟练的掌握程度达到评价标准，则进入下一知识点的测试，记录测试过程各个环节的得分情况，并将测试结果上传到云端存储；

(3-1-2)小组测试，教师创设小组测试的情境，设置不同的任务难度、关卡级别、角色数量，学习者的虚拟化身根据其在小组中的任务要求执行相应的操作步骤，小组成员扮演不同的角色，检测其对不同情境的熟悉程度；

(3-1-3)引入AI测试助教，在测试过程中引入AI测试助教，实时在线协助学习者完成情境性测试操作的分步骤指导、知识讲解、错误提醒；根据不同步骤设置分数，操作正确就得分，否则AI测试助教会发出错误提示；每个步骤结束后，均会给出“正确”或“错误”的提醒；

(3-2)当学习者进入测试子模块，将会自动开启数据收集功能，记录测试过程的学习行为和学习成绩；教师分析学习者测试结果与过程数据，生成班级共性或学习者个性化的诊断结果；实时采集虚拟化身的交互数据，检验并生成学习者的学习行为分析报告；

(3-2-1)数据收集，当学习者进入测试子模块后，沉浸式教学环境将开启数据收集功能，自动记录并保存学习者在测试过程中的操作时长、驻留时间、操作步骤、学习成绩、互动习惯、学习路径、求助方式学习行为数据，并上传到云端存储；

(3-2-2)测试情况诊断，根据上传到云端的学习行为数据，教师分析学习者在不同情境、不同环节的知识掌握情况和熟练程度，生成班级共性或学习者个性化的诊断结果；上述环节包括结构认知、自主探究、知识拓展；

(3-2-3)学习行为评价，实时采集虚拟化身在沉浸式教学环境中动作、视线和眼动数据，包括在不同教学情境中点头、抬手、转身动作频率、停留时长以及关注点的移动轨迹，分析学习者视觉注意力的变化，检验并生成其对不同情境、不同知识点的学习行为分析报告；

(3-3)采用基于用户和项目推荐算法的混合协同智能推荐算法，将相关的沉浸式教学资源推送给学习者；采用云渲染平台实时生成情境化虚拟教学资源的画面；实现对整个教学服务系统的统一管理；

(3-3-1)教学资源推荐，根据学情分析与反馈的结果，将学习者在课前、课中、课后阶段的薄弱环节反馈给教师，基于混合协同智能推荐算法，教师将跟该知识点相关的沉浸式教学资源推送给学习者；

(3-3-2)云渲染，为满足教学活动中师生的互动与虚拟教学空间逼真显示的需要，支持多虚拟化身的表情、动作表示以及与虚拟教学资源的多模态实时互动，采用云渲染平台快速生成虚拟教学环境的画面；

(3-3-3)教学服务管理，实现对整个沉浸式翻转教学服务系统的统一管理，包括教师权限，教学资源，教学活动，班级管理，学习小组管理，云渲染服务、系统设置，数据存储、备份和恢复，保证教学系统的安全性和数据的完整性与一致性。