[发明专利]基于VR、算法和5G技术的医疗手术辅助系统以及方法

权利要求书

1.一种基于VR和5G技术的医疗手术辅助系统，其特征在于，所述系统包括一个鸟瞰镜头、多个近景镜头、控制模块、5G通讯模块、VR眼镜以及VR手柄；

其中，所述鸟瞰镜头和多个近景镜头均为全景摄像头；所述鸟瞰镜头用于俯视地拍摄整个手术室；所述多个近景镜头分别用于佩戴在不同医生的头部，所述多个近景摄像头分别具有不同的图像特征；所述鸟瞰镜头与所述控制模块通过近场无线通信技术连接，所述多个近景镜头均与所述控制模块通过近场无线通信技术连接；

所述控制模块通过所述5G通讯模块与所述VR眼镜和VR手柄连接，所述VR眼镜用于展示所述鸟瞰镜头或所述近景镜头拍摄的全景视频，所述VR手柄用于采集用户的控制操作；

当所述鸟瞰镜头向所述控制模块传输实时拍摄的全景视频时，所述控制模块通过所述5G通讯模块，将鸟瞰镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频；在所述VR手柄采集到用户的第一控制操作的情况下，所述VR眼镜响应于所述第一控制操作，获取正在显示的全景视频的快照图像，并确定所述VR手柄总用在该快照图像中的位置；所述VR眼镜将所述快照图像和所述位置信息发送给所述控制模块；所述控制模块响应于所述快照图像和所述位置信息，并对所述快照图像进行去噪处理，并在去噪处理后的快照图像中将该位置周围的图像剪裁出，以获得子图像；所述控制模块对所述子图像进行识别，从而确定该子图像包含的目标近景镜头，所述目标近景镜头是所述多个近景镜头中的一个；在确定出目标近景镜头后，所述控制模块向目标近景镜头发送视频采集命令，并向所述鸟瞰镜头发送终止采集命令；所述鸟瞰镜头响应于该终止采集命令，停止采集全景视频；所述目标近景镜头响应于该视频采集命令，开始采集全景视频，并将采集的全景视频传输给所述控制模块，所述控制模块通过所述5G通讯模块，将目标近景镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频。

2.根据权利要求1所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，当所述VR眼镜在显示目标近景镜头采集的全景视频时，在所述VR手柄采集到用户的第二控制操作的情况下，所述VR眼镜响应于所述第二控制操作，向所述控制模块发送视角切换请求；所述控制模块响应于所述视角切换请求，向所述目标近景镜头发送终止采集命令，并向所述鸟瞰镜头发送视频采集命令；所述目标近景镜头响应于该终止采集命令，停止采集全景视频；所述鸟瞰镜头响应于该视频采集命令，开始采集全景视频，并将采集的全景视频传输给所述控制模块，所述控制模块通过所述5G通讯模块，将目标近景镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频。

3.根据权利要求1所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，所述系统还包括麦克风和多个耳机，每个耳机分别对应一个近景镜头；所述控制模块在向目标近景镜头发送视频采集命令的时候，还向目标近景镜头对应的目标耳机发送蓝牙连接请求，以建立与该目标耳机的蓝牙连接；所述麦克风用于采集用户的语音信号，并将该语音信号发送给所述控制模块，所述控制模块通过蓝牙通信技术，将该语音信号传递给所述目标耳机；

所述控制模块在向目标近景镜头发送终止采集命令时，断开与所述目标耳机的蓝牙连接。

4.根据权利要求1所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，所述控制模块通过以下方式裁剪子图像：根据所述位置信息，在所述快照图像上确定相应位置点；以所述相应位置点为中心布置剪裁框，所述剪裁框的中心与所述位置点的中心重合，所述剪裁框的尺寸为预设尺寸；沿所述剪裁框对所述快照图像进行剪裁，以获得子图像。

5.根据权利要求1所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，所述控制模块通过以下方式确定子图像包含的目标近景镜头：将子图像输入预先训练的镜头识别模型，得到所述镜头识别模型输出的镜头识别结果，所述镜头识别结果中记录有近景镜头的位置；根据近景镜头的位置，识别相应位置的图像特征，从而根据识别到的图像特征，从多个近景镜头中确定具有该图像特征的目标近景镜头。

6.根据权利要求5所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，所述镜头识别模型是一种目标检测模型。