[发明专利]一种基于全息终端的5G强互动远程专递教学系统的工作方法

权利要求书

1.一种基于全息终端的5G强互动远程专递教学系统的工作方法，其特征在于：所述基于全息终端的5G强互动远程专递教学系统包括数据采集模块、数据传输模块、5G云渲染模块、自然交互模块、全息显示模块和教学服务模块；

所述数据采集模块用于采集主讲教室与听课教室中师讲生听、师生互动环节的各种教学行为数据；

所述数据传输模块用于实现主讲教室与5G云渲染引擎、听课教室全息终端之间的音视频流、全息影像数据传输；

所述5G云渲染模块用于实现教室端教学视频流和全息影像的高速渲染，所述教室端是指主讲教室与听课教室；

所述自然交互模块通过感知主讲教师的各种交互行为，实现教学过程中教师与全息教学资源、教学环境之间互动；

所述全息显示模块为全息教学资源和自然交互提供展示平台；所述全息显示模块在主讲教室与听课教室配备不同的全息显示终端，构建虚实融合的全息成像环境：在主讲教室为主讲教师配备具有增强现实功能的全息头显，通过5G网络将云渲染的全息画面传送到远程听课教室；在听课教室采用全息投影仪、全息LED屏、全息薄膜配置形式，通过全息渲染方式立体再现主讲教室中的教学活动；

所述教学服务模块为各类用户提供教学资源、教学行为与过程分析、教学服务管理；

上述基于全息终端的5G强互动远程专递教学系统的工作方法包括以下步骤：

(1)数据采集，针对主讲教室中师讲生听、师生互动教学活动中主讲教师的多样化教学行为，借助录播采集设备以及动作、表情、头部、视线传感器，实时采集主讲教室中教师的视频、语音、手势和躯干动作、面部表情、头部转动、视线聚焦数据，以及全息互动影像；

(1-1)语音、视频数据采集，通过多流录制模式，将录播系统摄录的主讲教室视频、音频信号整合同步录制形式：采用G.728音频协议将语音数据存储为PCM格式；采用HEVA视频协议，将HDMI视频源编码压缩成4K分辨率的标准化流媒体内容，在教学服务模块生成MP4格式的点播列表；

(1-2)姿态数据采集，运用深度传感设备采集主讲教师的深度图像，获取其骨架数据；使用基于惯性的动作捕捉设备追踪教师的25个关键骨骼部位，采用通用动作BVH格式记录主讲教师的动作，上传到云渲染引擎，辅助后续数据感知与全息环境的交互；

(1-3)头部与视线数据追踪，在主讲教室运用摄像机和桌面遥测式眼动仪构建注视目标跟踪系统，采用头部姿态估计技术，实时获取主讲教师头部的空间姿态，将其与眼动检测的坐标系进行合成和转换，设置眨眼补偿时间参数和追踪丢失补偿时间戳，记录凝视点的保持时长，量化感兴趣区域的视觉注意力，采用evs格式描述上述关键参数，包括主讲教师头部的空间姿态、眨眼补偿时间参数、追踪丢失补偿时间戳、凝视点的保持时长和兴趣区域参数；

(1-4)表情数据采集，采用回归树的人脸对齐算法，建立级联残差回归树，检测视频序列中主讲教师人脸关键点数据，提取眼睛、眉毛和嘴部特征点的3D坐标，采用UTF8MB4格式的字符串描述面部表情捕捉信息；

(1-5)全息影像采集，采用广角采集技术，多角度、多机位扫描主讲教室，实时融合主讲教师的授课视频图像；根据教室光源的方向和强度，及时调整教师的站位，保持双眼视差的均衡值，动态采集、跟踪主讲教师的授课过程；

(2)数据传输，将教室端采集到的数据与云渲染内容，经5G/WIFI/定位模块与无线路由器、5G广域IP网络链路，通过控制、接入、转发技术，实现教室端与云服务器、渲染集群之间的数据传输，优化5G网络接入、传输路径、多条件资源部署、云端网络转发功能；

(2-1)教室端5G网络接入，在主讲和听课教室端使用无线和有线两种方式接入5G网络：在无线接入方案中采用集中化无线接入网C-RAN，将5G信号转成WIFI信号；有线专线方案中采用CPE作为OTN专线设备，运用AP将信号转成WIFI信号；有线光纤方案通过光网关、分光器设备，接入光纤信号，实现各教室端数据收发、信道质量信息资源共享，强化协作关系；

(2-2)5G定位，通过WIFI、共频带、局域网、惯性传感器定位测量技术，采用高频或毫米波通信方法，利用混合定位算法融合位置估计，预测传输响应目标接收端的定位结果，减少异常定位，提高定位的可靠性和稳定性，输出最优的定位结果与决策响应；

(2-3)数据传输链路，采用中心云和边缘计算相结合的方式，串联云、端、5G核心网、基站，确保4K超高清视频和全息影像内容的即采即传；利用MEC边缘计算分担更多的核心网流量和运算能力，优化数据传输和信号处理流程；

(3)5G云渲染，主讲教室、听课教室中音视频流、全息影像数据通过5G链路传输到云渲染模块，经云化解码、情景匹配、GPU实时渲染和云化编码环节，将渲染完成的全息影像推送到教室端的全息显示终端；

(3-1)云化解码，云化解码与云化编码是一对相反过程，云渲染模块接受通过5G网络传输过来的音视频流和全息影像，结合采集的其他交互数据，完成解码工作，步骤包括熵解码、预测、反量化、反变换和环路过滤器；

(3-2)情境匹配，结合教学情境以及主讲教师与资源的互动行为，确定主讲教师视角下，下一帧需要呈现的全息影像画面，不同的教学情境、交互操作需要更新教学场景中对应模型的位置、姿态和缩放比例属性，从而确定下一帧渲染画面的内容；

(3-3)GPU云渲染，包括渲染调度、GPU算力、渲染引擎功能，支持上传的教室端音视频流、全息影像的渲染，综合运用GPU算力，通过渲染引擎完成每帧画面内容的渲染，生成新的全息影像和声音；

(3-4)云化编码，使用压缩率高、鲁棒性强的H265视频编码标准对云渲染生成的音视频流与全息影像进行编程，为保持帧间隔的稳定，采用无B帧编码形式，步骤包括：预测、变换、量化处理、熵编码和环路过滤器；

(3-5)云、端异步渲染，为保证流畅的用户体验，采用异步渲染技术保证云渲染、全息显示之间MTP小于等于20ms，即教室全息终端上的全息影像画面与云渲染引擎正在渲染的帧之间相保持不多于2帧的差距，确保主讲教室与听课教室之间的视觉同步；

(3-6)负载均衡算法，在全息影像渲染过程中，采用基于动态预测递归深度的负载均衡算法，确保根据每颗GPU的渲染绘制性能，承担相应的负载量，保证绘制时间大体一致，令渲染系统始终处于较为稳定的状态；

(4)自然交互，收集主讲教室全息环境中的相关信息，分析、整理主讲教师的特征，形成不同的运动、情感和行为分类；根据教学要求，在主讲教室中预设空间定位点，关联富媒体教学资源，并与教室空间定位点配准，教师可主动识别、触发空间定位点；根据交互输入类型，生成可与全息影像交互的各种操作命令，实现师生与环境、教学资源的互动；

(4-1)感知，收集主讲教室全息成像环境中虚拟对象、虚拟场景和主讲教师的相关信息；在教学策略库、行为规则库、领域知识库支持下，分析、整理主讲教师的特征，形成不同的运动、情感、行为分类；

(4-1-1)信息收集，收集主讲教室中的相关信息，包括全息成像环境中教学对象的增加、删除、修改和重组，虚拟场景的跳转、跳转次序，以及主讲教师的身体姿态、面部表情、头部移动、视线变化特征数据和行为变化；

(4-1-2)信息处理，根据教学目标、风格和特征，在教学策略库、行为规则库、领域知识库支持下，分析、整理主讲教师的特征数据，针对反应型、复合型、智能型不同层次的特征数据，按照运动、情感和行为进行分类；

(4-2)配准，构建虚实融合的教学场景，根据教学要求，在主讲教室中预设空间定位点，关联富媒体教学资源，并与教室空间定位点配准；教学过程中，教师可主动识别、触发空间定位点关联的教学资源，在全息终端呈现教学资源的全息影像；

(4-2-1)预设空间定位点，在主讲教室中构建全息显示环境，通过空间定位点，主讲教师可预先设置、定位教学资源到教室空间某个位置，在教学过程中方便、灵活地调用，提高加载速度，减少触发全息场景的时间和步骤；

(4-2-2)关联教学资源，根据学科教学要求，主讲教师创建、编辑适应于全息成像环境展示的富媒体教学资源，在真实环境中配准虚拟内容，并设置触发条件，完成教学资源与真实空间定位点的关联，采用JSON格式记录相应存储信息，并上传到云端；

(4-2-3)空间定位点的触发，在主讲教室开展授课、答疑、互动活动时，根据教学需要，主讲教师可主动触发空间定位点所关联的教学资源；

(4-3)交互输出命令，根据主讲教师的交互输入类型，调用行为规则，生成可与教学资源交互的各种操作命令；教师可以自主跳转、切换全息教学环境的界面、场景和模型，实现与环境、教学资源的互动；

(4-3-1)交互命令，根据主讲教师的交互输入类型，调用对应语音、手势、躯干、视线、头部输入特征的执行规则，生成可与关联在空间定位点的全息教学资源影像进行各种互动的推、拉、摇、移、拽操作命令；

(4-3-2)命令输出，根据手势、体态交互命令，主讲教师可以选定、旋转、缩放、移动、显示/隐藏、动画播放空间定位点上关联的全息教学内容，自主跳转、切换全息教学环境的界面、场景和模型，实现与环境、教学资源的互动；

(5)全息显示，包括全息教学资源创建、全息成像环境构建、全息互动，根据教学需要，创建交互式、个性化的虚拟教学场景，使用Unity引擎和全息渲染开发包，将虚拟场景输出成全息资源；在主讲和听课教室配备不同的全息显示终端，构建虚实融合的全息成像环境；通过视觉提示、触觉反馈、语音或音效方式，引导主讲教师，关注、触发教学环境中空间定位点，实现多模态的交互；

(5-1)全息教学资源的创建，根据教学需要，修改教学场景中3D模型的显示属性、音效和播放次序，完成个性化、交互式虚拟教学场景的编辑；使用Unity引擎和全息渲染开发包，将逼真度高、交互性强的虚拟教学场景输出成全息资源；

(5-1-1)交互式虚拟教学场景编辑，搭建完善的虚拟教学资源库，教师可快速查找、选择所需的虚拟教学资源；根据教学需要，修改教学场景中3D模型的几何、纹理、材质属性，添加声音和声效，指定虚拟场景的渲染方式，设置虚拟场景的动画播放次序，完成个性化、交互式虚拟教学场景的编辑；

(5-1-2)全息教学资源的创建，使用Unity引擎和全息渲染开发包，将逼真度高、交互性强的虚拟教学场景输出成全息资源，实现操作即所得的全息教学资源的创建，将它们与空间定位点关联，根据教学需要，激发、调用、观看全息教学资源影像；

(5-2)全息成像环境构建，在主讲教室，为主讲教师配备具有增强现实功能的全息头显，在听课教室采用全息投影仪、全息LED屏、全息薄膜不同配置形式；使用全息显示终端，构建由虚拟教学资源与主讲教室真实空间叠加形成的全息教学环境；

(5-2-1)全息教学环境的构建，在主讲教室，使用全息显示终端，构建由全息教学资源与真实空间叠加形成的全息教学环境，构建一个主讲教师、教学资源与真实环境的信息交互回路；通过设置第一视角，听课教室的师生获得与主讲教师相同的视觉体验；

(5-3)全息互动，通过视觉提示、触觉反馈、语音或音效方式，引导主讲教师关注、触发教学环境中空间定位点，使用手势、视线、语音方式拖动、旋转、缩放眼前全息成像环境中的对象；

(5-3-1)交互引导，全息成像系统可充分利用教室的空间环境，通过视觉提示、触觉反馈、语音或音效方式，引导主讲教师关注、触发全息教学环境中空间定位点，呈现所关联的全息教学资源视频，主讲教师可根据教学流程，与教学资源互动；

(5-3-2)实时交互，借助全息头显内置的传感器和定位追踪功能，捕捉主讲教师在全息教学空间中的位置和动作信息；主讲教师也能从多角度观看教学资源中虚拟对象的细节，使用手势、视线、语音方式拖动、旋转、缩放全息环境中的虚拟对象；

(6)教学服务，包括教学资源应用发布、教学行为和过程分析、教学服务管理，教学资源应用发布包括教学资源的发布、推送和空间定位点的更新；通过统计师生课前、课中和课后的教学情况，分析主讲教师的授课风格、学生上课的投入度，获取教学的情感、行为、效果评价数据；实现对整个教学服务模块的统一管理，确保安全性和数据的完整性与一致性；

(6-1)教学资源应用发布，根据教室端采集到的配置信息，发布适配多终端的教学资源，通过消息推送和热更新机制，向客户端推送更新数据包，记录空间定位点的信息，同步更新到云端；

(6-1-1)教学资源的发布，依据教师的权限，提供不同教学资源的下载权限，参照主讲教室与听课教室终端的操作系统、屏幕分辨率尺寸属性，提供不同分辨率的内容匹配，根据空间定位点的绝对坐标完成资源的多终端适配，确保互动时不发生偏移；

(6-1-2)教学资源应用的推送，根据后台记录的教室端信息，教学服务模块通过消息推送机制向其发送升级、更新信息，采用热更新方式，将在云端更新的课程内容、教学资源、虚拟场景，通过数据包的形式推送到教室端；

(6-1-3)空间定位点的同步更新，采用JSON格式记录主讲教师在课程资源中设置、编辑的空间定位点信息，包括ID，三维位置，全息教学场景的元素、状态、位置、姿态、缩放比例参数；将其同步存储到云端，满足专递教室系统中不同终端上相同空间位置的共享体验；

(6-2)教学行为与过程分析，通过统计师生课前、课中和课后的教学情况，分析主讲教师的授课风格；基于BERI模型分析听讲教室学生上课的投入度，获取教学的情感、行为、效果评价数据；

(6-2-1)教学统计，针对本系统师生所处的远程、全息教学环境，课前实时记录教师备课和学生预习的情况，课中实时查看师生操作过程，课后分析学生作业完成情况以及知识掌握牢固点与薄弱点数据，基于S-T模型分析主讲老师的授课风格；

(6-2-2)学生课堂行为画像，基于BERI模型分析听讲教室学生上课的投入度，获取教学的情感、行为、效果评价数据；综合学生作业成绩、作业完成进度情况，实现对每个学生的精确画像描述；

(6-2-3)教学活动优化，实时监控和计量教学活动，完成服务节点同步配置、负载均衡配置和资源监控，确保主讲教室的教学活动能顺利同步到各听讲教室；根据各教室端的IP地址，监视、判断各个节点状态，智能化地选择最优节点，提供优质资源和服务；

(6-3)教学服务管理，实现对整个教学服务系统的统一管理，包括教师权限、教学资源、教学活动、系统设置、系统维护、参数设置、数据备份和恢复，保证教学系统的安全性和数据的完整性与一致性；

(6-3-1)教师权限管理，负责教师用户使用教学服务模块时的登陆、验证、计时、资源编辑、教室创建功能，协助教师用户登录教学服务模块，通过身份验证，记录教师的使用时间，依据权限检索虚拟教学资源，创建或登陆专递教室；

(6-3-2)教学资源管理，采用“目录式场景树”按照学段学科单元知识点的层次管理虚拟教学资源及其录播教学资源，每个节点都对应一个教学资源，节点可清晰反应其所在的位置和层级关系，清晰的结构便于教师的组织、查询、下载和管理；

(6-3-3)教学活动管理，在专递教室系统中实现多种形态的教学活动灵活组织，支持一校带多点的形式：即支持一个主讲课堂带多个听课教室同步在线上课；或者一校带多校园，即支持多个主讲课堂带多个听课教室同步在线上课。