[发明专利]神经网络的训练误差降低方法、装置、电子设备及介质

说明书

本申请涉及神经网络技术领域，特别涉及一种神经网络的训练误差降低方法、装置、电子设备及介质，其中，方法包括：确定目标神经网络的每个输出端口的优先级；根据优先级匹配目标神经网络的每个输出端口的误差权重系数，其中，优先级高的输出端口的误差权重系数大于优先级低的输出端口的误差权重系数；根据每个输出端口的误差权重系数计算目标神经网络的训练误差，以进行训练，直至在训练误差满足预设精度条件时，完成目标神经网络的训练。由此，解决了相关技术采用各个输出端口均一权重定义误差函数的训练方法，会导致训练输出结果从低位到高位精度依次递减，无法使所有端口都满足精度要求，且训练时间长，效率低等问题。

技术领域

本申请涉及神经网络技术领域，特别涉及一种神经网络的训练误差降低方法、装置、 电子设备及介质。

背景技术

全加器是算术逻辑运算单元的基本模块，而算术逻辑单元是以CPU(centralprocessing unit，中央处理器)、GPU(graphics processing unit，图形处理器)等通用处理器为代表的 高端芯片的核心基本单元，对整个计算系统的性能和功耗有着至关重要的作用。过去几十 年，集成电路工艺技术的进步是提高计算芯片性能和能效的主要措施之一。然而，随着摩 尔定律和登纳德缩放比例定律放缓甚至走向终结，这一方法正在逐渐失效，新一代高能效 计算芯片框架的开发已迫在眉睫。光具有物理空间最快的传播速度以及多维多尺度的优势， 采用光子替代传统电子进行信息处理的光计算有望构建新一代高性能计算机。与电子芯片 相比，光计算具有高速、并行、低功耗等颠覆性优势。尤其随着人工智能算法的深度发展， 光在介质中受限传播的物理过程在数学上的表达与深度神经网络算法具有高度的相似性， 采用光电神经网络实现以全加器为代表的算术逻辑运算有望突破传统电子芯片的能效瓶颈。

相关技术通过训练可以利用神经网络实现相应的算术逻辑运算，神经网络训练的本质 是网络权重参数的调优。训练过程由信号的正向传播与误差的反向传播两个过程组成。通 常误差函数中各个输出端口的误差所占权重是一样的，但由于全加器具有从低位逐级向高 位进位的特征，最高位的输出端口的信号由所有输入信号共同决定。输出端口的信号由同 等级别或更低位的输入信号决定，更高位的输入对输出并无影响。

因此，采用各个输出端口均一权重定义误差函数的训练方法，往往会使得训练得到的 输出结果从低位到高位精度依次递减。为了实现所有输出端口都满足精度要求，需要更长 的训练时间才能实现理想的精度，导致效率低，尤其是当网络规模大时高位输出的精度受 限。

发明内容

本申请提供一种神经网络的训练误差降低方法、装置、电子设备及介质，以解决相关 技术采用各个输出端口均一权重定义误差函数的训练方法，导致训练输出结果从低位到高 位精度依次递减，无法使所有端口都满足精度要求，且训练时间长，效率低等问题。

本申请第一方面实施例提供一种神经网络的训练误差降低方法，包括以下步骤：确定 目标神经网络的每个输出端口的优先级；根据所述优先级匹配所述目标神经网络的每个输 出端口的误差权重系数，其中，所述优先级高的输出端口的误差权重系数大于所述优先级 低的输出端口的误差权重系数；根据所述输出端口的误差权重系数计算所述目标神经网络 的训练误差，以进行训练，直至在所述训练误差满足预设精度条件时，完成所述目标神经 网络的训练。

可选地，在本申请的一个实施例中，根据所述每个输出端口的误差权重系数计算所述 目标神经网络的训练误差，包括：获取所述每个输出端口的预期输出值和训练输出值；根 据所述每个输出端口的所述预期输出值、所述训练输出值和所述误差权重系数计算得到所 述训练误差。

可选地，在本申请的一个实施例中，所述每个端口的训练误差根据对应端口的优先级 进行加权求和。

可选地，在本申请的一个实施例中，所述目标神经网络包括衍射神经网络、干涉神经 网络和散射神经网络中的一种或多种光学神经网络。