[发明专利]一种光神经网络训练方法、系统、存储介质及设备

说明书

本发明提供了一种光神经网络训练方法、系统、存储介质及设备，方法包括：将训练数据集中的多个样本输入到第一轮迭代的参数为初始值的光神经网络中，以得到多个输出数据；基于多个输出数据以及训练数据集中与多个样本分别对应的多个标签得到损失函数；通过零阶梯度估计算法基于多个样本得到关于该参数的损失函数的导数；通过一阶优化算法基于损失函数的导数和该参数得到下一轮迭代的参数的数值，并将多个样本输入到参数为该数值的光神经网络中；若当前达到最后一轮迭代，通过一阶优化算法基于最后一轮迭代的损失函数的导数和参数得到更新结束的参数，并基于更新结束的参数得到训练完成的光神经网络。本发明提高了光神经网络的推断准确度和鲁棒性。

技术领域

本发明涉及光神经网络技术领域，尤其涉及一种光神经网络训练方法、系统、存储介质及设备。

背景技术

近年来，人们对光计算技术的需求迅速增加，其原因在于：一是随着摩尔定律的逐步失效，以及大数据时代对计算系统功耗和速度要求的不断提高，光计算技术高速和低功耗的特点越来越受到人们的重视；二是光计算技术的并行性运算特点，以及光学神经网络等算法和硬件架构的发展，为图像识别、语音识别、虚拟现实等人工智能技术对算力的需求提供了最有潜力的解决方案。光计算可以分为模拟光计算和数字光计算。模拟光计算最典型的一个例子就是傅立叶运算，在图像处理等领域需要运用傅立叶变换相关的计算，如卷积计算。用传统计算机来计算傅立叶变换是非常消耗计算量的，而光通过透镜的过程，本身就是一次傅立叶变换的过程，这个过程几乎完全不需要时间。数字光计算是利用光和光学器件组合形成经典的逻辑门，构建类似传统数字电子计算原理的计算系统，通过复杂的逻辑门组合操作实现计算。

ONN(Optical Neural Network，光神经网络)训练的常用方法是在纯软件引擎上训练模型，使用反向传播(BP)算法训练模型参数，然后通过矩阵SVD分解和MZI(Mach–Zender interferometer，马赫曾德尔干涉仪)拓扑结构参数化将训练好的模型映射到光学器件上进行推断。这种方法的优势在于可以利用现有的深度学习工具包，在无噪声环境下训练权重矩阵。然而这种方法在效率、性能和稳健性方面存在以下缺点：

1)基于纯软件的ONN训练受到数字计算机性能的限制，同时考虑到矩阵分解和参数化的计算成本，数字计算机在模拟ONN架构时效率低下。

2)光学器件因为制造差异和控制的不精准以及热效应等影响，会引入一定的噪声，纯软件训练的ONN模型由于缺乏准确的非理想建模，会导致严重的性能下降和较差的鲁棒性。

发明内容

有鉴于此，本发明的目的在于提出一种光神经网络训练方法、系统、存储介质及设备，用以解决现有技术中训练的光神经网络性能低且鲁棒性差的问题。

基于上述目的，本发明提供了一种光神经网络训练方法，包括以下步骤：

将训练数据集中的多个样本输入到第一轮迭代的参数为初始值的光神经网络中，以得到多个样本分别对应的多个输出数据；

基于多个输出数据以及训练数据集中与多个样本分别对应的多个标签得到损失函数；

通过零阶梯度估计算法基于多个样本得到关于该参数的损失函数的导数；

通过一阶优化算法基于损失函数的导数和该参数得到下一轮迭代的参数的数值，并将多个样本输入到参数为该数值的光神经网络中；

响应于当前达到最后一轮迭代，通过一阶优化算法基于最后一轮迭代的损失函数的导数和参数得到更新结束的参数，并基于更新结束的参数得到训练完成的光神经网络。

在一些实施例中，通过零阶梯度估计算法基于多个样本得到关于该参数的损失函数的导数包括：

通过逐坐标梯度估计算法基于多个样本得到关于该参数的损失函数的导数。

在一些实施例中，一阶优化算法包括随机梯度下降算法。