[发明专利]基于混合现实的高仿真外科手术教学系统及其方法

权利要求书

1.基于混合现实的高仿真外科手术教学系统，其特征在于：包括外科手术教育系统(1)、医疗数据可视化系统(2)、手术辅助系统(3)、IoT设备(4)、云平台(5)和采集录入端(6)；

所述外科手术教育系统(1)、医疗数据可视化系统(2)和手术辅助系统(3)构成MR外科手术教学平台(7)；

所述外科手术教育系统(1)用于构建虚拟医疗环境，包括病房、病人、医疗器械设备的虚拟化空间；

所述医疗数据可视化系统(2)用于接收外科手术教育系统(1)虚拟环境数据后匹配手术医疗数据并呈现MR全息影像，包括人体血管、骨骼、内脏和血压的虚拟化病人病灶；

所述手术辅助系统(3)用于操作人体精准定位，将虚拟空间与现实操作进行交互，动态呈现手术操作过程；

所述IoT设备(4)接收采集录入端(6)采集的真实数据，所述采集数据包括视频数据和图片数据，对采集的真实数据进行分组和标记，并分组发送至云平台(5)；

所述IoT设备(4)针对接收的每路数据分别生成对应的视频流信息标签和图片流信息标签，依据各路视频数据的视频流信息标签和各路图片数据的图片流数据信息标签形成若干视频数据流组和若干图片数据流组；

所述云平台(5)通过云端储存和编辑后，将分类信息分别输送至MR外科手术教学平台(7)，并将反馈信息回传；

所述MR外科手术教学平台(7)接收手术辅助系统(3)的操作数据反馈并将反馈信息发送至云平台(5)。

2.如权利要求1所述的基于混合现实的高仿真外科手术教学系统，其特征在于：所述云平台(5)包括云端数据库(51)、数据处理模块(52)和数据匹配模块(53)；

所述云端数据库(51)用于将接收到的若干视频数据流组和若干图片数据流组依据数据流标签进行分类储存；

所述数据处理模块(52)用于将分类储存的数据依据流属性信息和数据内容进行分组，并分类标记，所述分组包括环境数据集、器械数据集、人体数据集和病灶数据集；

所述数据匹配模块(53)用于将数据处理模块(52)处理分组后的数据集分别根据外科手术教育系统(1)属性信息匹配生成相对应的数据流的数据要求，并将该数据流的数据要求与数据集对接。

3.如权利要求2所述的基于混合现实的高仿真外科手术教学系统，其特征在于：云端数据库(51)还用于储存MR外科手术教学平台(7)的模型构建数据库、若干视频数据流组和若干图片数据流组的历史数据库以及若干视频数据流组和若干图片数据流组传输所挟带的时间、位置子数据。

4.如权利要求3所述的基于混合现实的高仿真外科手术教学系统，其特征在于：外科手术教育系统(1)包括环境模型构建模块(11)、器械模型构建模块(12)、人体模型构建模块(13)和虚拟空间显示模块(14)；

所述环境模型构建模块(11)和器械模型构建模块(12)用于将分类后环境数据集的环境数据和器械数据集的医疗器械进行实时动态的与三维模型进行深度融合；

所述人体模型构建模块(13)用于将分类后人体数据集的人物形体与三维模型进行初步构建，病灶数据集与所述初步构建的人体模型进一步融合与拼接。

5.如权利要求4所述的基于混合现实的高仿真外科手术教学系统，其特征在于：所述外科手术教育系统(1)还包括感知系统，所述感知系统用于采集和处理环境信息，包括：

智能摄像模块，用于捕捉现实中的画面，形成二维的图像，所述智能摄像模块采用智能摄像机；

图像识别模块，用于识别形成的二维的图像中的物体单元，所述物体单元包括环境单元和医疗器械单元、以及人体单元；

信息分类转换模块，将提取的环境单元和医疗器械单元、以及人体单元划分类别，并针对每个类别进行数据信息转换处理，将环境单元转换为环境数据集，将医疗器械单元转换为器械数据集，将人体单元转换为人体数据集；

二维坐标构建模块，提取环境数据集、器械数据集和人体数据集中的数据，将其转换为二维坐标信息；

二维转三维模块，用于将二维坐标信息转换为三维坐标的数据，并将三维坐标的数据整理后形成三维模型。