[发明专利]候选选择的方法和执行候选选择的加速器

说明书

本发明提供一种候选选择的方法和执行候选选择的加速器。加速器，包括：键矩阵寄存器，被配置为储存键矩阵；查询向量寄存器，被配置为储存查询向量；以及预处理器，被配置为计算所述查询向量与所述键矩阵之间的相似度，并选择所述键矩阵的行之中的至少一个候选行以与所述查询向量相乘，其中，所述预处理器通过选择最大部分相似度值来计算针对所述键矩阵的行的估计得分，并根据所述估计得分来选择所述至少一个候选行，以及其中，从多个部分相似度值中选择所述最大部分相似度值，所述多个部分相似度值中的每一个是通过将与所述键矩阵的列相对应的最大元素乘以所述查询向量的对应元素而生成的。

相关申请的交叉引用

本申请要求于2019年3月28日提交的申请号为No.10-2019-0035790的韩国专利申请以及2020年2月20日提交的申请号为No.10-2020-0020750的韩国专利申请的优先权，其全部内容通过引用合并于此。

技术领域

各种实施例总体而言涉及一种候选选择的方法和一种用于执行候选选择的加速器。

背景技术

神经网络被广泛地用于诸如计算机视觉和自然语言处理之类的人工智能技术。

在使用神经网络的操作中，在使用权重矩阵和输入向量来执行操作时，大量次数地执行乘法操作和加法操作。

例如，在被称为VGG-16的神经网络模型中，执行大约150亿次乘法操作和加法操作以处理224×224大小的图像。

正在开发FPGA或ASIC形式的各种硬件加速器以有效地执行这些大规模操作。

针对诸如CNN(卷积神经网络)或RNN(递归神经网络)之类的传统神经网络，对这样的传统加速器进行了优化。

最近，已经开发了一种神经网络技术，在所述神经网络技术中，在从过去储存的许多信息之中选择与要处理的输入数据具有高度相似度的信息之后，执行神经网络操作。

注意力机制是用于选择具有高相似度的信息的技术的示例。

注意力机制是基于内容的相似度选择技术，其从过去储存的信息之中检索与查询数据高度相关的数据。

图1A和1B是解释注意力机制的操作的数学表达式。

注意力机制使用图1A中所示的键矩阵(key matrix)M、值矩阵(value matrix)V和查询向量q，以图1B中所示的顺序来执行操作。

首先，对键矩阵M的每一行和查询向量q执行内积计算以计算每一行的得分Si。

接下来，对针对键矩阵M的行所计算的得分执行Softmax(软化最大值)归一化。

在Softmax归一化期间，计算幂，每一个所述幂的底数为自然常数e且指数为与键矩阵M的第i行相对应的得分Si，并且计算权重，每一个所述权重被指定为Wi且被表示为与键矩阵M的第i行相对应的幂和计算出的幂的总和之间的比。

最终输出值r由权重向量W和值矩阵V的积来确定。

即使在选择具有高相似度的信息的过程中，也必须使用所储存的信息和当前输入的信息来执行大量计算。此外，随着所储存的信息量增大，计算量也增大。

发明内容

根据本教导，一种加速器，包括：键矩阵寄存器，被配置为储存键矩阵；查询向量寄存器，被配置为储存查询向量；以及预处理器，被配置为计算所述查询向量与所述键矩阵之间的相似度。