[发明专利]光电感算一体光场智能成像方法及装置

权利要求书

1.一种光电感算一体光场智能成像方法，其特征在于，包括以下步骤：

待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；所述光学计算结果为所述待成像场景或物体的光场成像；

获取所述光学计算结果，通过电学计算操作对所述光学计算结果进行计算，得到电学计算结果；

根据所述电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终电学计算结果；

定义所述光学计算结果为 f_opt(x,y)，所述电学计算操作的输出为：

f_elec(x,y)=H{kf_opt(x,y)+b}

其中，k和b在完整实数域上取值，为待优化参数，H为一种固定的非线性运算；

所述通过电学计算操作对所述光学计算结果进行计算，得到电学计算结果，包括：输入光信号经过光学卷积模块后到达传感器，所述传感器将光信号转变为电信号，通过设计好的模拟电路改变电信号的取值完成电学运算，得到所述电学计算结果。

2.根据权利要求1所述的光电感算一体光场智能成像方法，其特征在于，在所述光学计算模块完成的运算操作为卷积操作；所述光学计算模块包括：空域调制和频域调制两种形式；其中，

所述空域调制由输入平面的光信号自由传播至调制平面，经所述调制平面调制后再自由传播至输出平面；

所述频域调制由输入平面的光信号经过一个透镜自由传播至调制平面，经所述调制平面调制后，经过另一透镜到达输出平面；其中，每两个平面间的距离均为所述透镜的焦距。

3.根据权利要求1所述的光电感算一体光场智能成像方法，其特征在于，经过所述电学计算操作的电信号，用于操控编程的非相干光源，将上一级电学计算结果投射出来，做为下一级光学计算模块的输入光源，以形成级联结构。

4.根据权利要求1所述的光电感算一体光场智能成像方法，其特征在于，所述方法还包括：

搭建卷积神经网络，完成光学参数和电学参数的联合优化；

通过搭建好的所述卷积神经网络，优化所述光学计算模块中的调制平面参数。

5.根据权利要求4所述的光电感算一体光场智能成像方法，其特征在于，所述搭建卷积神经网络，完成光学参数和电学参数的联合优化，包括：

在搭建卷积神经网络的过程中，利用光学计算高并行性的优势将多通道卷积转为单通道；其中，将所述多通道卷积中的多个卷积核，以拼图拼接的方式将所述多个卷积核堆砌在一个平面内，形成一个大尺寸的卷积核。

6.根据权利要求5所述的光电感算一体光场智能成像方法，其特征在于，所述通过搭建好的所述卷积神经网络，优化所述光学计算模块中的调制平面参数，包括：

基于拼接好的所述大尺寸的卷积核，以梯度下降的方式优化调制平面参数，并基于L1范数损失函数使得所述光学计算模块对于点光源输入的输出图案与目标的卷积核图案接近，直到所述损失函数的值下降到预设阈值以下。

7.根据权利要求5所述的光电感算一体光场智能成像方法，其特征在于，所述输出最终电学计算结果，包括：

最后一级的输出形式由待完成的任务而定，其中，对于n个目标种类的分类任务，通过微调光学结构，将所述光学计算结果汇聚到n个像素点处后接收，或者在传感器端进行平均池化或最大池化操作，将输出化为n个数值的形式，若第i个取值最大，光电计算系统的分类结果为i；对于回归类型的任务，所述最后一级的输出为二维图像的形式。

8.一种光电感算一体光场智能成像装置，其特征在于，包括：

光学计算模块，用于待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；所述光学计算结果为所述待成像场景或物体的光场成像；

电学计算模块，用于获取所述光学计算结果，通过电学计算操作对所述光学计算结果进行计算，得到电学计算结果；

判断模块，用于根据所述电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终电学计算结果；

定义所述光学计算结果为 f_opt(x,y)，所述电学计算操作的输出为：

f_elec(x,y)=H{kf_opt(x,y)+b}

其中，k和b在完整实数域上取值，为待优化参数，H为一种固定的非线性运算；

所述电学计算模块，还用于输入光信号经过光学卷积模块后到达传感器，所述传感器将光信号转变为电信号，通过设计好的模拟电路改变电信号的取值完成电学运算，得到所述电学计算结果。