[发明专利]一种面向手术显微镜的立体图像互补增强装置及方法

权利要求书

1.一种面向手术显微镜的立体图像互补增强方法，用于面向手术显微镜的立体图像互补增强装置，其特征在于，包括：

获取给定场景的高分辨小景深图像数据集和低分辨大景深图像数据集，通过改变显微镜的工作距离获得不同位置的左图像序列I_l{I_l1,I_l2,…,I_ln}和右图像序列I_r{I_r1,I_r2,…,I_rn}，采用景深融合算法获得左视角的全画幅清晰图像I_lg和右视角的全画幅清晰图像I_rg；

构建基于参考视角的互补增强网络，所述互补增强网络包括第一路编解码器ED1、第二路编解码器ED2和基于光流的跨视角映射计算单元，将高分辨小景深图像I_HRLD和低分辨大景深图像I_LRHD输送到基于光流的跨视角映射计算单元中，计算高分辨小景深图像I_HRLD和低分辨大景深图像I_LRHD上的运动得到视差图D；再将高分辨小景深图像I_HRLD输送到第一路编解码器ED1中，低分辨大景深图像I_LRHD输送到第二路编解码器ED2中，经过逐层特征编码获得不同尺度的编码特征，然后通过解码器逐层上采样恢复到输入尺寸；

使用所述高分辨小景深图像数据集和低分辨大景深图像数据集对所述互补增强网络进行训练，对所述互补增强网络进行循环迭代训练使损失函数减小直到完成设定的迭代次数N，并将网络参数进行保存；

将测试数据集输入到训练后的互补增强网络中进行处理，得到增强后的左右视角高分辨大景深图像；

用于的面向手术显微镜的立体图像互补增强装置包括：

立体图像采集单元(1)，所述立体图像采集单元(1)设有第一感光元件(2)和第二感光元件(3)，所述第一感光元件(2)用于作为第一观测被测物体表面发出的光子，第一感光元件(2)对被测物体在第一观测视角下的像进行呈现；所述第二感光元件(3)用于作为第二观测视角接收被测物体表面发出的光子，第二感光元件(3)对被测物体在第二观测视角下的像进行呈现；

非对称显微成像单元(4)，所述非对称显微成像单元(4)设有左变倍体(5)、右变倍体(6)、光源(7)、非对称光圈组(8)和物镜(9)；所述左变倍体(5)用于改变被测物体在第一感光元件(2)上的放大倍率，所述右变倍体(6)用于改变被测物体在第二感光元件(3)上的放大倍率；所述光源(7)用于对所述被测物体打光照明；所述非对称光圈组(8)拥有两路光圈值相异的第一光圈和第二光圈，所述第一光圈用于改变第一观测视角的景深和空间分辨率；所述第二光圈用于改变第二观测视角的景深和空间分辨率；所述物镜(9)用于对包括第一观测视角和第二观测视角光路的显微镜工作距离进行配置；

立体图像采集控制处理单元(10)，所述立体图像采集控制处理单元(10)设有相机同步触发器(11)和计算处理模块(12)；所述第一感光元件(2)和第二感光元件(3)均与所述相机同步触发器(11)连接，相机同步触发器(11)用于控制所述第一感光元件(2)和第二感光元件(3)同时对被测物体进行拍摄；所述计算处理模块(12)与所述相机同步触发器(11)连接，计算处理模块(12)用于对第一感光元件(2)和第二感光元件(3)的拍摄图像进行模糊增强处理。

2.根据权利要求1所述的一种面向手术显微镜的立体图像互补增强方法，其特征在于，分别选取所述左图像序列I_l{I_l1,I_l2,…,I_ln}和右图像序列I_r{I_r1,I_r2,…,I_rn}中的第一层作为训练图像输入，将全画幅清晰图像I_lg和I_rg作为GroundTruth图像。

3.根据权利要求1所述的一种面向手术显微镜的立体图像互补增强方法，其特征在于，所述高分辨小景深图像数据集为所述左视角的全画幅清晰图像I_lg集合，所述低分辨大景深图像数据集为所述右视角的全画幅清晰图像I_rg集合。