[发明专利]一种基于MR技术的远程教学系统和直播问题筛选系统

说明书

本发明涉及一种基于MR技术的远程教学系统和直播问题筛选系统。所述系统包括：教学端、学习端和控制系统；所述教学端包括MR设备，用于拍摄并合成的视频画面；所述控制系统包括：视频流图层，用于接收MR设备推送的视频画面；MR 3D信息体增强显示信息图层，用于展示虚拟的MR 3D信息体；增强显示信息生成模块，用于在所述视频流图层上增加所述MR 3D信息体增强显示信息图层，形成合成后的视频画面，所述MR 3D信息体增强显示信息图层覆盖在所述视频流图层之上；所述视频源站，用于接收MR直播控制处理系统传输出的视频画面，对外播放视频。本申请的系统具有重要的临床应用价值。

技术领域

本发明涉及智能系统领域，更具体地，涉及一种基于MR技术的远程教学系统和直播问题筛选系统。

背景技术

目前临床上采用的带教模式可分为两种，线下和线上培训系统。这两种模式各有优缺点。线下带教培训，可让下级医院医师直接到上级医院病房，观摩和学习上级医院医师的诊断思路，通过面对面的交流，让带教培训的效果得到最好。缺点是被培训医生人数和培训次数有限，且不具有重复性。近年来，线上培训模式也逐渐被采纳。优点是被培训医师不必亲自到现场，可在线观摩查房，聆听上级医院医师对病情分析。且可重复观看学习。缺点是无法与上级医生进行实时沟通交流，同时，线上教学查房缺乏的真实感，导致参与度不高，让带教的效率大大降低。建立一种高效、受众人数多、可反复学习且参与感强的带教系统，对提高医师临床技能及思维方式有积极的指导作用，尤其是对病情复杂、治疗决策难度大、不可预测性强及个体化趋势明显的危重症神经系统疾病等领域，建立规范、系统的带教系统，对提高医师临床能力、改善患者良好预后有重大意义。

MR即Mixed Reality混合现实技术，是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。通过MR设备上的前置摄像头，将MR设备佩戴者的第一视角摄像采集内容与空间虚拟3D信息体合成后推送到直播源站点。MR设备通过前置摄像头做视频直播的时候，会把摄像头拍摄采集的视频内容和MR叠加在真实空间的虚拟的3D信息体合成在视频流中。由于设备摄像头分辨率以及佩戴者视角的问题，会引发视频直播的观看者一些不适的情况，例如，3D渲染文字、表格等信息由于分辨率不高造成线条轮廓有锯齿不平滑，显示不清晰；佩戴者视角的移动造成信息显示不完整，不持久；设备防抖功能不足抖动引发眩晕等不适感。

此外，对数十人乃至数百人同时在线的直播教学中，会有很多人进行提问或寒暄互动，教学人员无法及时有效的回答大家的问题，尤其是在重复问题较多时或寒暄互动内容较多时，教学人员收到过多无用信息，导致回答问题的效率不高。

发明内容

本申请的目的在于提供一种基于MR技术的远程教学系统，包括：教学端、学习端和控制系统；所述教学端包括MR设备，所述学习端包括视频源站，所述控制系统包括MR直播控制处理系统；

所述教学端包括：

MR设备，用于拍摄并合成的视频画面，所述视频画面包括了现实场景物体和虚拟的MR 3D信息体的合成；

所述MR直播控制处理系统包括：

视频流图层，用于接收MR设备推送的视频画面；

MR 3D信息体增强显示信息图层，用于展示虚拟的MR 3D信息体；

增强显示信息生成模块，用于在所述视频流图层上增加所述MR 3D信息体增强显示信息图层，形成合成后的视频画面，所述MR 3D信息体增强显示信息图层覆盖在所述视频流图层之上；

所述视频源站，用于接收MR直播控制处理系统传输出的视频画面，对外播放视频。

进一步，所述MR设备内含有MR直播APP，用于向教学人员展示和交互所述虚拟的MR3D信息体；