[发明专利]一种图像处理方法、装置及系统

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

获取目标区域的三维模型数据；

通过图像采集装置获得目标区域的实际图像；

将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；

利用投影矩阵和旋转位移矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；所述虚拟图像为模型视图投影；

将所述虚拟图像与所述目标区域的实际图像匹配融合，获得头戴式双目显示器显示的结果信息。

2.如权利要求1所述的方法，其特征在于，所述三维模型数据包括特征信息；其中，所述特征信息包括血管、神经、器官和病变组织。

3.如权利要求2所述的方法，其特征在于，所述三维模型数据通过磁共振成像和/或电子计算机断层扫描获得。

4.如权利要求1所述的方法，其特征在于，获得虚拟图像的步骤包括：

通过定位装置实时获得图像采集装置的位置姿态数据；

根据所述位置姿态数据确定所述实际图像的旋转位移矩阵；

根据图像采集装置中的摄像头的内参以及摄像头的参数确定投影矩阵；

利用所述旋转位移矩阵和所述投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像。

5.一种图像处理装置，其特征在于，所述装置包括：

三维模型数据获取单元，用于获取目标区域的三维模型数据；

实际图像获取单元，用于通过图像采集装置获得目标区域的实际图像；

关联单元，用于将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；

虚拟图像单元，用于利用投影矩阵和旋转位移矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；所述虚拟图像为模型视图投影；

融合单元，用于将所述虚拟图像与所述目标区域的实际图像匹配融合，获得头戴式双目显示器显示的结果信息。

6.一种图像处理系统，其特征在于，包括：

图像采集装置、锁定装置、定位装置、图像处理器和头戴式双目显示器；其中，

所述定位装置，用于确定用户的头部的运动方向和速度，根据所述用户的头部的运动方向和速度产生控制信号，将所述控制信号传输至所述图像采集装置；

所述图像采集装置，用于根据所述控制信号调整图像采集装置的姿态和位置，使得所述图像采集装置的视野符合用户要求，并获取目标区域的实际图像信息，将所述实际图像信息发送至所述图像处理器；

所述锁定装置，用于在所述图像采集装置的视野符合用户要求时固定所述图像采集装置的姿态和位置；

所述图像处理器，用于获取目标区域的三维模型数据和所述实际图像信息；将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；利用投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；将所述虚拟图像与所述目标区域的实际图像匹配融合，获得所述目标区域的合成图像；

所述头戴式双目显示器，用于显示所述目标区域的合成图像。

7.如权利要求6所述的系统，其特征在于，所述图像采集装置为双路图像采集子装置，其中，一路图像采集子装置用于左眼图像信息的采集；另一路图像采集子装置用于右眼图像信息的采集。

8.如权利要求6所述的系统，其特征在于，所述图像采集装置具有多种类型的感光芯片。

9.如权利要求6所述的系统，其特征在于，所述定位装置包括红外相机、定位球、惯性传感器和机械运动传感器。

10.如权利要求6所述的系统，其特征在于，所述图像采集装置用于对所述目标区域的实际图像信息进行放大处理图像采集装置获取的实际图像信息。