[发明专利]光子-电子深度神经网络

说明书

提供了用于光子‑电子神经网络计算的系统和方法。在实施例中，输入数据的阵列在光学域中被处理并且通过多个光子‑电子神经元层(诸如在神经网络中)施加。数据可以穿过一个或多个卷积单元、训练层和分类层，以生成输出信息。在实施例中，可以在光学域中直接处理各种类型的输入数据(例如音频、视频、语音、模拟、数字等)，并且将其施加于各种神经网络配置中的任何数量的层和神经元。这样的系统和方法也可以与一个或多个光子‑电子系统集成，一个或多个光子‑电子系统包括但不限于3D成像器、光学相控阵列、光子辅助微波成像器、高数据速率光子链路和光子神经网络。

相关申请

本申请要求(于2020年7月21日提交的)“Photonic-Electronic Deep Networks(光子-电子深度网络)”的美国专利申请第63/054,692号的优先权及其权益，其全部内容出于任何和所有目的通过引用并入本文。

政府权利

本发明是在海军研究所授予的N00014-19-1-2248下通过政府支持完成的。政府对本发明享有一定的权利。

技术领域

本公开总体上涉及光子器件和神经网络以及人工智能领域，具体地涉及用于在神经网络中完全或部分地处理光学域中的数据的系统和方法。

背景技术

神经网络通常用于包括图像、视频和3D对象的数据分类。在常规光子神经网络的实施方式中，当分析可以包括光学、图像和其它数据的大数据集时存在显著的计算挑战。例如，通常使用用作像素阵列的图像传感器，通过诸如光检测和数字化的方法来分析原始光学数据。当数据穿过多个神经网络层时，较大数据集(诸如具有大量输入像素的那些数据集)，计算负荷迅速变大并且处理时间延长。此外，在这些过程中，光学功率从一层到另一层显著下降，这与其它实施方式的困难一起使得非线性函数的实现具有挑战性。因此，在计算的功率成本和非线性函数变得过于繁重之前，只能实现有限数量的神经元层。因此，需要改进的神经网络，特别是需要能够处理不同类型数据的神经网络。

发明内容

本发明提供用于光子-电子神经网络计算的系统和方法。实施例提供了对原始光学数据的直接处理和/或对光学域的各种类型的输入数据的转换以及将其应用到神经网络中。通过直接使用光学域中的数据，与传统神经网络的实施方式相比，所公开的系统和方法能够显着地减少处理时间和计算负荷。在各种示例中，处理时间和功耗都比常规方法低几个数量级。

在一个实施例中，输入数据的阵列在光学域中被处理并且通过多个光子-电子神经元层(诸如在神经网络中)被施加。数据可以穿过一个或多个卷积单元、训练层和分类层，以生成输出信息。可以在光学域中直接处理各种类型的输入数据(例如音频、视频、语音、模拟、数字等)，并且将其施加于各种神经网络配置中的任何数量的层和神经元。系统和方法也可以与一个或多个光子-电子系统集成，光子-电子系统包括但不限于3D成像器、光学相控阵列、光子辅助微波成像器、高数据速率光子链路和光子神经网络。

附图说明

专利或申请文件含有以颜色执行的至少一个附图。该专利或专利申请公开的具有(多个)彩色附图的副本将由办公室在请求和支付必要费用时提供。

附图仅是说明性的并且未必按比例绘制。在附图中：

图1A至1B提供(图1A)卷积深度学习网络的一般结构和(图1B)常规神经元的示意图。

图2提供6×5像素手写数字的样本图像。

图3A至3C提供(图3A)所公开类别的光子深度学习网络的示例性结构、(图3B)所公开的卷积单元的示例性结构、以及(图3C)用于前向传播的所公开的光子-电子神经元的示例示意图。