[发明专利]光电感算一体光场智能成像方法及装置

说明书

本申请提出一种光电感算一体光场智能成像方法和装置，其中，方法包括：待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；光学计算结果为待成像场景或物体的光场成像；获取光学计算结果，通过电学计算操作对光学计算结果进行计算，得到电学计算结果；根据电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终结果。本发明利用来自待成像物体或场景的光进行光计算，并通过设计模拟电路实现简单的电计算，不需要额外的模数转换和存储环节，避免了光电转换过程造成的信息损失，从而能够以感算一体的方式高效低功耗地完成不同类型的计算机视觉任务。

技术领域

本发明涉及光场视觉处理技术领域，特别涉及一种光电感算一体光场智能成像方法及装置。

背景技术

近年来，深度神经网络的发展为光场视觉处理领域带来了很大的进步，已在很多任务中落地，如光场图像识别、对象分割等。在实际系统中，为了运行基于深度神经网络的人工智能算法，需要特定的硬件设备，如图形处理器（GPU）、嵌入式神经网络处理器（NPU）和FPGA等，但这些设备都面临着以下的问题。1）比如，GPU的高能耗高带宽使得其不合适部署在边缘计算智能终端（如商用相机、自动驾驶汽车）上；2）对于NPU、FPGA等嵌入式设备硬件，设备算力和功耗都受到固有的限制，无法满足诸如自动驾驶、实时监控等需要大量计算资源和较高计算功耗的实时视觉任务；3）摩尔定律失效，传统硅基计算芯片算力发展变缓，难以跟上人工智能算法的需求。针对这一问题，研究人员提出利用光来实现神经网络的计算，也称为光计算。当前较主流的一些方案包括，利用相干光在自由空间或波导中的传播模拟人工神经网络（ANN），如深度衍射神经网络（D2NN）、波导芯片等；利用光脉冲致相变材料晶态的改变模拟卷积神经网络（CNN）和脉冲神经网络（SNN）等。光计算可以克服目前主流电子计算的固有局限性，具有高速度、高并行性、高计算吞吐量、低能耗等优势，通过光计算实现神经网络算法成为了当前国际上的一个研究热点。此外，光计算可以直接利用待成像物体或场景发出的光信号来进行计算，因而可避免现有感算分离方案中图像传感器的光电转换和模数转换造成的有效信息丢失与处理速度受限的缺陷。

神经网络中的非线性运算对提升网络的性能至关重要，而目前基于纯光学实现非线性运算的技术还不成熟，所以将光计算和电子计算结合起来是当前技术体系下的主流操作，称为光电计算。在光电计算中，光计算与电计算优势互补，大部分计算内容由光计算承担，电计算完成目前光学技术难以实现的操作，从而在性能提升和实现难度之间进行了折衷。

目前的光电计算主要有基于波导技术和空间光传播两种途径。基于波导的技术中，可通过56个马赫-曾德尔干涉仪（Mach–Zehnder interferometer）的级联阵列完成4种元音声波信号的分类，或基于相变材料在光照下从晶态切换为非晶态的特性实现简单的脉冲神经网络。

基于空间光传播的方法中，光被不同种类的元器件调制，如薄透镜、相位掩膜、空间光调制器等，以完成不同种类的运算。空间光方法中较为重要的一类方法为深度衍射神经网络，其中相干光（激光）在空间中自由传播衍射一段距离后通过一相位掩膜（phasemask），各点的相位会产生不同的延迟，然后再自由传播衍射一段距离，以此类推。深度衍射神经网络中的各层相位掩膜参数可通过物理仿真优化得出，从而完成特定的人工智能任务，如手写数字分类，简单图片分类等。深度衍射神经网络是纯光学计算，可搭配简单的电学计算和光电转换的物理过程中固有的平方非线性关系形成更高级的光电计算方案，从而提升分类准确率。