[发明专利]基于VR、算法和5G技术的医疗手术辅助系统以及方法

说明书

本发明提供一种基于VR、算法和5G技术的医疗手术辅助系统以及方法，旨在提高VR的沉浸程度。通过在手术室布置鸟瞰镜头，可以采集整个手术室的全景视频，使得远端的用户可以通过VR眼镜实时感受到整个手术室的情况。另外，每个医生的头部分别佩戴有近景镜头，当用户需要以某个医生的视角，近距离观察手术过程时，可以利用VR手柄点击全景视频中该医生头部佩戴的目标近景镜头。控制模块控制目标近景镜头开始近距离地拍摄手术的全景视频，并通过5G通讯模块将近距离的全景视频发送给远端的VR眼镜。如此，用户的视角从手术室全局视角切换至手术近距离视角。本发明通过提供灵活的视角切换功能，使得VR的沉浸程度得以提升。

技术领域

本发明涉及信息技术领域，特别是涉及一种基于VR、算法和5G技术的医疗手术辅助系统以及方法。

背景技术

随着5G通讯技术的发展和VR技术的发展，工程技术人员和医疗专家越来越多地将5G和VR技术应用至手术室。例如，通过在手术布置全景摄像头，在手术期间，全景摄像头拍摄全景视频，并将拍摄的全景视频发送给远端的VR设备(例如VR眼镜)。远端的用户通过佩戴VR眼镜，可以沉浸式地体验和感受手术过程。一方面，可以用于医学生对手术操作的学习，另一方面，也可以用于专家远程地对手术进行监控和指导。然而现有技术中，在通过VR技术沉浸式感受手术过程时，由于全景镜头的摆放位置相对固定，难以对手术细节进行细致地拍摄，或者难以对整个手术室进行完整拍摄，导致用户的沉浸式体验并不是很理想。

发明内容

本发明实施例的目的在于提供一种基于VR和5G技术的医疗手术辅助系统，旨在提高VR的沉浸程度，具体技术方案如下：

本发明实施例提供一种基于VR和5G技术的医疗手术辅助系统，所述系统包括一个鸟瞰镜头、多个近景镜头、控制模块、5G通讯模块、VR眼镜以及VR手柄；

其中，所述鸟瞰镜头和多个近景镜头均为全景摄像头；所述鸟瞰镜头用于俯视地拍摄整个手术室；所述多个近景镜头分别用于佩戴在不同医生的头部，所述多个近景摄像头分别具有不同的图像特征；所述鸟瞰镜头与所述控制模块通过近场无线通信技术连接，所述多个近景镜头均与所述控制模块通过近场无线通信技术连接；

所述控制模块通过所述5G通讯模块与所述VR眼镜和VR手柄连接，所述VR眼镜用于展示所述鸟瞰镜头或所述近景镜头拍摄的全景视频，所述VR手柄用于采集用户的控制操作，并将相应的控制信息回传给所述控制模块；

当所述鸟瞰镜头向所述控制模块传输实时拍摄的全景视频时，所述控制模块通过所述5G通讯模块，将鸟瞰镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频；在所述VR手柄采集到用户的第一控制操作的情况下，所述VR眼镜响应于所述第一控制操作，获取正在显示的全景视频的快照图像，并确定所述VR手柄总用在该快照图像中的位置；所述VR眼镜将所述快照图像和所述位置信息发送给所述控制模块；所述控制模块响应于所述快照图像和所述位置信息，对所述快照图像进行滤波去噪处理，并在去噪处理后的快照图像中将该位置周围的图像剪裁出，以获得子图像；所述控制模块对所述子图像进行识别，从而确定该子图像包含的目标近景镜头，所述目标近景镜头是所述多个近景镜头中的一个；在确定出目标近景镜头后，所述控制模块向目标近景镜头发送视频采集命令，并向所述鸟瞰镜头发送终止采集命令；所述鸟瞰镜头响应于该终止采集命令，停止采集全景视频；所述目标近景镜头响应于该视频采集命令，开始采集全景视频，并将采集的全景视频传输给所述控制模块，所述控制模块通过所述5G通讯模块，将目标近景镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频。

作为优选，对所述快照图像进行去噪处理，去除噪音数据，提高识别精度，具体为：

设I表示快照图像，对快照图像I进行滤波处理，设I(x，y)表示快照图像I中坐标(x，y)处的像素，Ω(x，y)表示以像素I(x，y)为中心的M×M的局部区域，其中，M为给定的正整数，M的值可以取5，设f′(x，y)表示对像素I(x，y)进行滤波处理后的灰度值，则f′(x，y)的值采用下列方式确定：