[发明专利]用于执行同或运算的计算单元、神经网络及方法

说明书

公开了用于执行同或运算的计算单元、神经网络及方法。描述了一种用于执行输入信号与权重的数字同或的计算单元和方法。所述计算单元包括至少一个铁电场效应晶体管对以及多个选择晶体管。铁电场效应晶体管对与多条输入线结合并存储权重。每个铁电场效应晶体管对包括第一铁电场效应晶体管和第二铁电场效应晶体管，其中，第一铁电场效应晶体管接收输入信号并存储第一权重，第二铁电场效应晶体管接收输入信号补码并存储第二权重。选择晶体管与铁电场效应晶体管对结合。

本申请要求于2018年3月8日提交到美国专利商标局的第62/640,076号美国临时专利申请、于2018年4月28日提交到美国专利商标局的第62/664,102号美国临时专利申请以及于2018年9月20日提交到美国专利商标局的第16/137,227号美国专利申请的优先权，所述专利申请的公开内容通过引用全部包含于此。

技术领域

本发明构思涉及用于执行XNOR运算的计算单元、神经网络及方法。

背景技术

涉及深度学习神经网络(NN)或神经神态计算的应用(诸如，图像识别、自然语言处理以及更一般的各种模式匹配或分类任务)迅速变得与通用计算一样重要。NN的基本计算元素或神经元将一组输入信号乘以一组权重并对多个乘积进行求和。因此，神经元执行向量矩阵乘运算或乘法累加(MAC)运算。NN通常包括大量的互连的神经元，其中，每个神经元执行MAC运算。因此，NN的运算是计算密集型的。

NN的性能可通过提高MAC运算的效率来改善。可期望本地存储权重以降低功率和DRAM访问的频率。还可期望数字地执行MAC运算以帮助降低噪声和过程可变性。二进制神经元可能满足这些目标。因此，开发了二进制加权的XNORNet(同或网络)。

在二进制XNOR(同或)单元中，权重w在数学上是1和-1，但是被数字地表示为1和0。信号x类似地在数学上是1和-1，但是由1和0数字地表示。乘法运算p_i＝w_ix_i的结果仅在x和w均为1时以及当它们在数学上均为-1(布尔表示中均为0)时是正的。这正好是异或运算的逻辑非(XNOR)。因此，各个权重和信号的乘积可被表示为p_i＝XNOR(w_i，x_i)。针对给定的神经的完整的MAC运算被表示为或者从布尔方面来说，被表示为sum＝2Count(XNOR(w，x))-n。当n是神经元的输入的总数时，计数操作对XNOR表达式的非零结果的数量进行计数。然后，结果针对偏差被阈值处理，产生神经元的高输出或低输出。整个处理是数字的。结果，不会引发与模拟处理相关联的信息损失。

然而，权重的二进制表示的使用可以是信息损失的来源。二进制网络通常使用比模拟(或多位数字的)网络实质更多的神经元来获得相同水平的整体准确性。如果权重是三进制的而不是二进制的，则可能会有显著的改善。三进制权重取数学值-1、0和1。0权重针对输入的任何组合产生-1输出(逻辑0)。因此，三进制XNOR门(也被称为“门控XNOR”)的输出由以下等式给出：

当执行以上等式中的XNOR运算时，非零权重和所有的信号从{-1,1}域映射到{0,1}布尔域。该映射在基于权重的数学值进行的分支之后执行。

当使用相同数量的神经元时，三进制网络可相对于二进制网络提供提高的准确性。可选择地，三进制网络可实现与二进制网络相同的水平的准确性，但使用更少数量的神经元。这导致面积、功率以及推理吞吐量和延迟的节省。因此，二进制数字XNOR网络和三进制数字XNOR网络二者可用于诸如NN的应用。所期望的是改进的XNOR逻辑单元来增强数字二进制NN和/或数字三进制NN的运算或者其他逻辑运算。

发明内容